Архитектура информационных систем

Московский технический университет связи и информатики Курс лекций: Архитектура информационных систем Преподаватель: Беленькая Марина Наумовна Писали: Григорьев Илья и Кукушкин Иван. Оглавление Лекция 1. Основные понятия и определения. .............................................................................................. 2 Лекция 2. Протоколы и стандарты для проектирования архитектуры ИС. ................................................ 3 Лекция 3. Модели. ........................................................................................................................................... 4 Лекция 4. Системное ПО и архитектура. ........................................................................................................ 6 Лекция 5. Системы управления базами данных. .......................................................................................... 9 Лекция 6. Hardware обеспечение ИС. .......................................................................................................... 13 Лекция 7. Среда передачи. Кодирование. .................................................................................................. 14 Лекция 8. Среда передачи. Кабельные системы. ....................................................................................... 19 Лекция 9. Топология современных систем. Архитектура с точки зрения топологии. Сегменты системы и их связь между собой. ................................................................................................................................ 23 Лекция 10. Архитектура удаленного доступа (Архитектура средств последней мили). ......................... 28 Лекция 11. Ethernet........................................................................................................................................ 33 Лекция 12. Снова об Ethernet. ...................................................................................................................... 39 Лекция 13. Архитектура сетей хранения данных. ....................................................................................... 43 Лекция 14. Безопасность информационной системы. ............................................................................... 48 Уровень D ............................................................................................................................................... 52 Уровень C ................................................................................................................................................ 52 Уровень B ................................................................................................................................................ 53 Уровень A................................................................................................................................................ 54 Лекция 15. Организация ЦОДов. .................................................................................................................. 55 Лекция 16. Архитектура Прикладных процессов в современных сетевых системах. ............................. 59 Лекция 1. Основные понятия и определения. Информационная система (ИС)- материальная система, которая занимается организацией, хранением, передачей и обработкой информации. Имеет различные компоненты. Компоненты ИС  Технические средства необходимы для того чтобы информацию передавать, хранить, обрабатывать. Включают в себя вычислительную технику, среды передачи, сетевую составляющую.  Системные программные средства (ОС), компиляторы, загрузчики, системнотехнологические средства (средства диагностики, управления, тестирования).  Информационный фон: модели представления данных, языки представления и управления информацией.  Функциональные подсистемы: системы оперативного управления, бухгалтерской отчетности. Чтобы система работала нужны и некоторые организационные действия: кадровое обеспечение, экономическое обеспечение ИС. Модель работы информационных служб, созданная британцами: ITIL – набор библиотек, рекомендаций о том, как должны работать информационные службы, как обеспечивать функционал ИС. Подробно рассматриваться в этом курсе не будет, но знать об этом нужно. Архитектура ИС- структура, выполняемые функции и взаимосвязь компонентов ИС. ИС – система обработки информации, работающая совместно с другими ресурсами (техническими, финансовыми, людскими), которые обеспечивают некоторую реализацию информации (определение по ISO 2382). Application Program Interface (API) – программный интерфейс, способ взаимодействия внутренних программных частей ИС. Вся архитектура ИС (структура, связи и функции) претерпевала большие изменения в течение времени. 1942 год – компьютер Colossus был создан для расшифровки перехваченных немецких сообщений. Первый компьютер — ENIAC (1945 г.). Первый промышленный компьютер назывался UNIVAC (1947 г.). БЭСМ-ИТМ была первой вычислительной машиной в Европе. Среди всех ЭВМ в итоге победил IBM/360. По заветам Дейкстры была создана Burroughs, она была лучше IBM, но IBM задавила Burroughs маркетингом и финансами. IBM придумала первые сетевые технологии и стандарты SNA. Все истоки сетевой архитектуры и архитектуры ИС здесь. Истоки архитектуры ИС: SDLC, HDLC. Основная архитектура – «звезда». Фон Нейман разработал первое программное обеспечение (ПО), архитектуру ЭВМ (должен быть процессор, периферийные устройства, память, устройства ввода-вывода). Машина фон Неймана, законы фон Неймана. На сегодняшний день мы НЕ работаем в архитектуре фон Неймана: она давно себя исчерпала, теперь она распределенная, то есть все процессы запускаются на разных процессорах (каждый процесс – процессор). Любая вычислительная техника управляется операционной системой (ОС). Вся архитектура современных ИС имеет тенденцию в развитии в мобильных и облачных технологиях (Data-Center, Cloud Computing, Fibre Channel, Infiniband, SAN). Классификация ИС существует по разным признакам. 1. По сферам применения: экономические ИС, медицинские ИС, специальные системы операторов связи со своей архитектурой; 2. По владельцам ИС: корпоративные, персональные; Требования к ИС: • Модульность: функции в ИС выполняются, программируются и создаются согласно модулям (SAP); • Открытость (спецификаций, интерфейсов). Открытая – не значит бесплатная; • Гетерогенность – это требование к системе, согласно которому она поддерживает нескольких производителей; • Protection (то, что осуществляется средствами ИС: защита несанкционированного доступа: доступ к файловой системе, доступ к программным ресурсам) & Security (безопасность ИС: проблемы вне ИС); • Целостность данных, которые поддерживает система: данные не должны противоречить друг другу; Виды ИС:  Master Planning Scheduling (MPS);  Material Requirements Planning (MRP);  Enterprise Resource Planning (ERP): Business to Business (B2B), Business to Customer (B2C);  Специализированные системы: Customer Relationship Management (CRM), Business Support System (BSS), Operation Support System (OSS), Network Enterprise System (NES), Network Management System (NMS); Лекция 2. Протоколы и стандарты для проектирования архитектуры ИС. Протокол – это спецификация, по которой что-то делается. Это может быть протокол, который связан с правилами эксплуатации, с тем, как я буду делать топологию системы. Попытка реализовать это в software или в hardware – это стандарт. Все давно стандартизировано. Стандарты можно нарушать, но только когда, когда мы знаем, зачем мы это делаем. Виды стандартов:  Юридические (закон «О связи»). На территории США может продаваться любая база данных, если она поддерживает SQL. Такие стандарты создаются в виде ГОСТов или в виде рабочих (нормативных) документов (РД).  Фактические стандарты. Если ты хочешь работать со мной, то используй этот стандарт. Самый распространенный вид стандартов. Виды создателей стандартов:  Корпоративный стандарт - стандарты в рамках своей корпорации.  Стандарты стандартизирующих организаций: o International Telecommunication Union (ITU) стандартов, на самом деле, не делают, а делают рекомендации. В разных областях делаются рекомендации различных комитетов (ITU-R, ITU-D). Обычно запаздывает со своими рекомендациями. o ISO стандартизирует всё на свете. Тоже опаздывают с выпуском своих    стандартов. Членами ISO являются организации. o EIA/TIA – это 2 организации, которые разрабатывают стандарты только 1 уровня модели OSI. Членами этих организаций являются только вендоры. Материалы платные, находятся на их серверах. o IEEE - институт инженеров, электронщиков и электриков. Самая крупная профессиональная организация мира. Членами являются физические лица и вендоры. Участие, так же как и в EIA/TIA не бесплатно. Стандарты EIA/TIA и IEEE это основное! Стандартизирующие комитеты стран: o ANSI в США. Тоже стандартизирует всё на свете. Это частная компания, организация вендоров во всех областях. Платят взносы и между собой договариваются, что делают. Все стандарты закрытые и платные. TM Forum - отраслевая некоммерческая ассоциация, объединяющая предприятия электросвязи и их поставщиков с целью выработки стандартов, рекомендаций и моделей для информационных технологий в телекоммуникационной отрасли. На самом деле, от TMF ничего не зависит. Department of Defense (DoD) → ARPA → ARPANET → IAB → IEIF → RFC Пользуемся стандартами EIA/TIA и IEEE. Стандарты существуют практически на всё. От стандарта можно отступить. ISO 9000 говорит о том, что такое качество ИС. Согласно нему нельзя построить ИС. Для внедрения систем не существует стандартов, есть методики:  «Большой взрыв»: мы приходим на предприятие и меняем там целиком всю систему.  «Франчайзинг»: Мы выбираем фирму, выбираем самое продвинутое подразделение. На базе этого подразделения пытаемся запустить пилотный проект. Потом пытаемся внедрить его в другие подразделения.  «Точечный бросок»: мы не внедряем всю систему, а внедряем отдельные модули системы. В 95% случаев идут именно этим стандартным путем для внедрения ИС. Потому все системы и делаются модульными. Лекция 3. Модели. Модель — это функция, это то, что нужно делать. В любой системе есть определенные функции, которые она должна выполнить. Модель ISO OSI (модель взаимодействия открытых систем). Модель называют эталонной не потому, что только она и применяется, а потому что с ней сравнивают при описании взаимодействия каких-либо функций. 7 групп функций для этой модели, которые говорят, что нужно, чтобы соединить какие-то элементы открытой системы:  Application. Функции представления и связи приложений.  Presentation. Функции представления информации.  Session. Функции открытия сессии, установления связи.  Transport - segment. Контроль доставки.  Network - datagram. Присваивание логического адреса сети.  Data link - frame. Физическая адресация устройства.  Physical - bit. Это среда передачи. Мы должны определиться (если канал- витая пара), какие у нас разъемы (у тебя 8 пинов и у меня 8 пинов), электромеханические параметры, что приходит на пины. Процедура рукопожатия handshaking - “приветствие”, установление начальной связи между устройствами. Модель должна выполняться в каком-либо варианте в каждой системе. Модель IEEE. В ней не интересуются вернхними четырьмя уровнями модели OSI. Занимаются уровнями 1,2 и не полностью 3. Примитивная модель модели ISO OSI не интересует IEEE. Функции Physical надо организовать намного более подробно, то есть надо диктовать, как работает система, значительно более подробно. Как соединить 2 адаптера? IEEE говорят, что мы должны иметь такие чипы, которые могут присоединяться к определенным средам. IEEE сказала, что в моей модели нужно, как минимум, осуществить следующую группу функций: PMA, PMD, PCS, MII, MAC, LLC. PMA, PMD, PCS, MII находятся на phy уровне модели OSI. MAC, LLC находятся на уровне Data link модели OSI. MAC-подуровень: в нем мы присваиваем друг другу физические адреса. Также мы должны передавать и принимать на одной скорости, определять кто передает, а кто принимает (Flow control и Arrow control в LLC). IEEE 802.3, 802.5 – Ethernet. Модель EIA/TIA работает только на уровне Phy модели OSI. Модель IETF рассматривает верхние уровни модели OSI, начиная с третьего. Функции верхних трех уровней не разделены, названы Process и определено, какие процессы тут должны быть. Ниже договорились о том, как будут делать подтверждения. Еще ниже о том, как будем передавать. А все что ниже не интересует вообще. Вендоров интересует то, как система должна управляться. Нам надо выделить функции, которые позволят управлять системой. ISO назвала эти функции FCAPS, ITU назвала эти функции TMN. Это то, что нужно сделать, чтобы в ИС поддерживать какое-нибудь управление. FCAPS (F) Fault Management / Управление отказами (C) Configuration Management / Управление конфигурацией (A) Accounting Management / Учёт (P) Performance Management / Управление производительностью (S) Security Management / Управление безопасностью FCAPS сертифицирована и ITU и ISO. ITU создала TMN – модель управления телекоммуникационными системами. ITU – союз телефонистов, старая организация. Когда описывали эту модель, думали, что не всё управляется софтом. Поэтому данная модель нас не интересует. У операторов связи такие процессы, которые настолько сильно связаны с технологическими и системными вещами, что являются очень непростыми. TM Forum разработали такую модель, которая описывает, какие функции должен выполнять оператор связи. Создали модель прикладных процессов eTOM, в которой они сказали, что есть перечень прикладных процессов у оператора связи, есть необходимость соответствующих системных решений. В модели рассматривается взаимодействие процессов, ракурс внедрения, организация поддержки для оператора связи. Модель, так же как и стандарт, можно нарушать. Нужно только знать, зачем мы это делаем. В современной ИС все процессы являются распределенными. Возникает проблема удаленной обработки. Вендоры решили создать свою модель Open Network Computing (ONC), которую создала Sun Microsystems, в которой мы должны договориться о том, как должны работать приложения, чтобы удаленно обрабатывать что-то, потому что вся обработка удаленная. Согласно этой модели мы придумаем архитектуру удаленной обработки. Модель ONC стала основной, 80% что делается в распределенных системах делается по ней. Предложили модель RPC для удаленного взаимодействия с файлами. RPC то, что мы передаем от рабочей станции, согласно функциям session и presentation перевернут в то, что нам нужно, чтобы обработать это удаленно транспортному протоколу TCP/IP, которые, в свою очередь, передадут снова в библиотеку RPC, затем будет передано на компьютер с сетевой ОС, который обработает наш запрос на каком-то общем диске. Формат удаленного файла всегда будет в формате сетевой ОС. Таким образом, когда мы строим архитектуру ИС, мы должны предусмотреть существование File Server, процессы shell (клиентские). Лекция 4. Системное ПО и архитектура. В ИС работают процессы. Первое, в чем мы начинаем разбираться: какие функции данная ИС позволяет нам осуществить. Функции эти осуществляются с помощью прикладного программного обеспечения. Прикладным ПО управляет операционная система. От того, как работает ОС, зависит архитектура ИС. У ОС есть две ипостаси   Представление с точки зрения пользователя (интерфейс, меню) Представление с точки зрения системы (аллокация ресурсов для приложения) Выделяют обычно ОС и некоторое системно-технологическое обеспечение. В ОС есть ядро (core, kernel) – это резидентная часть. Она грузится всегда в составе ОС. В ядро включается часть, которая осуществляет системные процессы, а юзер-часть выбрасывается в утилиты (утилита копирования, утилита отладки). Когда система грузится, реализуется IPL (Initial Program Loader), то есть из какого-то места в памяти осуществляется загрузка некоторого маленького куска кода, который в свою очередь загрузит резидентную часть операционной системы. Под системой ввода-вывода ОС профессионалы понимают только дисковые подсистемы ввода-вывода, так как с ней есть сложности (мыши и клавиатуры- это периферия). Согласно архитектуре фон Неймана, процессор работает только с адресами main memory, он не умеет работать с адресами дисковых подсистем. ОС грузит адреса дисковых подсистем в main memory. У периферии есть свои процессоры, ОС не управляет клавиатурой, мышью и т.д. Main memory – это память, которая сделана с помощью полупроводниковых технологий (read only), либо перезаписываемая (RAM), либо быстрая технология (DRAM). Вся main memory представляется процессору как массив слов (48 бит или 32 бита). В составе процессора есть регистры (индексные или регистры инструкций), в которые записываются команды. Есть secondary memory – то, что управляется, что видно, к чему доступ предоставляется через ОС (флешки, электронные диски). Tertiary memory – DVD, CD-ROM, которые не управляются ОС и отдаются на откуп утилитам. Чтобы работать с вводом-выводом, разработаны специальные контроллеры, которые находятся на диске. На материнской плате находится контроллер HBA, который преобразует команды ОС, переданные с помощью драйвера, в команды контроллера. Это и есть система ввода-вывода. Без ОС работать можно, если не нужно делить память и делить процессор между приложениями, то ОС совершенно не нужна. Вычислительная техника бывает однопроцессорной – это большая часть систем, хотя там и имеются дополнительные процессоры. ОС работает только с дисковыми процессорами, остальные не видит! Мультипроцессорные системы разделяют процессорную шину, иногда разделяют часы, память, некоторые периферийные устройства. Все ОС на сегодняшний день поддерживают симметричный multiprocessing. ОС при этом работает по принципу прерываний. Прерывание – это некоторое событие, которое может произойти, потому что что-то случилось в харде или в софте. Чтобы обработать это прерывание ОС вызывает нужный вектор прерывания. Загрузка информации из main memory в регистр и из регистра в main memory выполняется хардвеерно. ОС не работает с процессорными регистрами! Существуют также кластерные системы, это означает, что мы объединили несколько систем вместе и они делят память и другие ресурсы при помощи сети. Программное обеспечение мы напишем так, что у нас часть программ выполняется на одних устройствах, а часть программ на других, то есть параллельно. Это называется параллелизация и специальная технология параллельных вычислений. Каждый узел такой сети выполняет свою функцию (node). Существует множество таких решений, но ни тандемы, ни кластеры не называют сетевыми ОС. Любая такая вычислительная система поддерживает multiprogramming. Job (работа) - это программа и данные, которые нужны для её выполнения, которые находятся на вторичных носителях. Job находится на диске. При запуске job, загружается в память программа вместе с данными, и создается процесс. Если мы запускаем job’ы и, соответственно, создаем процессы последовательно, то ОС для этого не нужна. Для этого всегда нужны compiler (компиляторы), loader, bindery. Такая работа, с последовательным запуском job’ов неэффективна из-за того, что пока создается один процесс, второй создаваться не может, возникает очередь. Поэтому нам нужен не multiprogramming с использованием job’ов, а multitasking с использованием task’ов. Multitasking означает, что мы запускаем какой-то процесс, то есть загрузили job в память, и этот процесс на какое-то время занял процессор. Пока мы чем-то занимаемся (например, время ввода-вывода значительно более медленное, чем время вычисления процессора), я запущу другой job и, соответственно, другой task. Так вот, как только мы начинаем делить процессор, у нас появляется multitasking. Task- это job, который делит процессор. ОС должна поддерживать multitasking. Задача ОС: составление расписания (schedule) для запуска процессов и деление времени процессора. Multitasking только тогда им является, когда время отклика (response time) меньше одной секунды! Чтобы это организовать нужна файловая подсистема (чтобы выбирать данные и процессы, это будет организовывать ОС, она будет организовывать schedule), нужно осуществлять защиту ресурсов (создаются restriction, то есть одному процессу не разрешается работать в области памяти другого процесса), аллокацию памяти, синхронизацию работы процессов и обеспечивать взаимосвязи между ними. Если возникает неприятность в ОС, то возникает trap – это exception, exclusion, деление на 0, исключение, это контролируется хардвером. Часы- это генератор импульсов постоянно частоты. Частота процессора своя, частота у шины своя, у сетевого адаптера своя. Соответственно у каждого свои часы. В ОС есть понятие таймера – хардвеерная реализация, управляемая ОС. Это счетчик, который нужен, чтобы управлять работой процессора с точки зрения времени. Таймер – это прерыватель процессора, часы операционной системы. Количество времени между прерываниями процессора измеряется в tick’ах. Задача ОС: загружать процессы и управлять ими. Чтобы это делать ОС строит всякие расписания, дает приоритеты процессам, синхронизируем и обеспечиваем взаимодействия процессов. У каждого процессора есть thread – это указатель (pointer) процесса, который указывает, какую текущую инструкцию кода надо выполнять. ОС должна осуществлять работа с thread’ами. Чтобы что-то выполнить в Main memory нужно сделать mapping – привязать физические адреса к какому-то логическому названию, то есть к тем адресам, которые нужны. Существуют различные схемы обработки памяти. Операционная система этим не занимается, она только делает аллокацию, а всё это делает хардвер! ОС следит, какая часть памяти сейчас используется, следит какой процесс надо загрузить или выгрузить, согласно расписанию и следит за тем, какой процесс сейчас займет процессор, согласно расписанию. Связь между адресом переменной a и тем адресом, по которому она должны грузиться, совершает компилятор. Когда мы делаем компилятор, мы делаем mapping. Компилятор компилирует в относительные адреса, а loader будет загружать, создавая mapping между абсолютным и относительным адресом для данной структуры вычислительной техники. До Loader еще может работать bindery – собираем все модули, которые нужно загрузить. Может нам нужно будет загрузить не один модуль, а кучу, по их абсолютным адресам. Есть осуществление mapping во время compile time, load time, execute time. Чтобы перевести логический адрес в физическим будет работать memory management unit (MMU). Процессор будет работать по логическим адресам – это способ организации виртуальной памяти virtual memory. Все ОС на сегодняшний день поддерживают virtual memory. Чтобы работать со storage (вторичной памятью) придумали file management (это вопросы ОС) и это работа с secondary storage. Это и есть ввод-вывод для ОС. Есть дополнительный вид памяти: кэш-память, которая медленнее, чем регистр, но быстрее чем RAM и DRAM. Это хардвеерная реализация. Регистры управляются компиляторами, кэш управляется хардвером, main memory и disk storage управляются ОС. При этом регистры копируются в кэш, кэш копируется в Main memory, main memory на storage, storage на CD. Отсюда и разделение. Скорость обращения к регистрам до 0,5 наносекунд, к кэшу от 0,5 до 25 наносекунд, к main memory до 250 наносекунд, а к storage до 5000 наносекунд. Размер регистра до 1 Кбайт, кэша до 64 Кбайт, main memory 64 Гбита, storage больше 100 Гбит. Проблема в том, что мы постоянно должны делить0и строить расписание. Построить такое расписание и сделать коммуникацию процессов сложно. У компании IBM была создана ОС VM/SP, которая разделяла так, что каждый пользователь имеет как будто бы свою ОС, свои диски, свой процессор (виртуальные машины – VM). Если я хочу работать с базой данных, то я запущу процесс, который обслуживает базу данных. Хочу получить почту, выделю специальный процесс. Процесс- это софт, а каждый процесс, который запущен на своей машине, называется server. Сервер- это процесс, запущенный на отдельном процессоре. Операционные системы, которые поддерживают такую корпоративную работу, то есть объединяют работу нескольких процессов для пользователей, которые работают на workstation, называются сетевыми ОС. Они разделяют ресурсы сети, управляют процессами. Каждый процесс – процессор. Так работали первые сетевые ОС. Потом возникла другая проблема: появилась возможность через роутер попасть в другой сегмент сети. Появились распределенные ОС. Архитектура информационной системы будет диктоваться архитектурой распределенной операционной системы. Как только мы получаем распределенную часть, то у нас возникает проблема имен. Эта система имен называется DNS, то есть процесс, который обслуживает имена. Существуют разные события с файлами. Существуют file migration, computation migration, process migration. Если мы посылаем такой запрос, что в ответ мне в удаленном варианте будет послан файл, то это file migration, файл-серверная архитектура. Могу послать запрос, при котором у нас будет только ответ на запрос (я не требую, чтобы мне прислали файл, а требую, чтобы мне нашли какие-то данные и ответ на запрос), это будет computer server. Всё вместе это называется клиент-серверная архитектура, она подразумевает то, что в ответ на запрос я потребую либо ответ на запрос, либо файл. Наконец, мы можем на своей рабочей станции инициализировать процесс, и получить в ответ не файл, не запрос, не ответ на запрос, а запуск процесса совершенно в другом месте, это process migration – один из вариантов работы либо File server либо Computer server. Получаются, в этой связи, большие проблемы protection, проблемы коммуникаций и соответствующих стратегий синхронизации (они еще не решены, но решаются). Лекция 5. Системы управления базами данных. СУБД – системы управления базами данных. Это специализированные системы, они требуют real time (очень быстрый ответ). Базы данных – совокупность данных, предназначенная для машинной обработки данных, и служит для работы со многими пользователями. Для того, чтобы работать с ними нужны специальные инструменты, которые значительно расширяют возможности их обработки. Они называются СУБД, они необходимы, так как обычные системы не позволяют поддерживать и проверять целостность данных. Поддержка логической целостности – это только одна из особенностей СУБД, она не является главной особенностью. СУБД должна так же обеспечивать быстрое нахождение данных, обычно это обеспечивается индексированием. Задавать индексы можно разными способами, например ISPV, но для СУБД этого мало, поэтому там количество методов индексирования значительно больше, чем в обычных операционных системах. Любое изменение данных – это потенциальная возможность нарушить целостность данных, поэтому в современных СУБД используются одни из самых современных, например БиДеревья, хотя это тоже не гарантирует полную сохранность данных. Потенциальные ключи – первичные ключи, по которым ищется данные. Есть также еще проблема: требуется поиск не только по первичным ключам, но и по вторичным, при этом достаточно быстро, а не перебирая все данные (помните, что требуется быстрая реакция). Обычные операционные системы не обеспечивают это вообще. Бывают Сетевые, Иерархические и реляционные модели данных. Например, данные используются в виде специальных конструкций. Если сетевая модель, то есть множество связей одних элементов с многими другими. Первые базы данных реализованные на сетевой основе поддерживали IMS. Сodasyl – комитет, определяющий языки программирования для работы с конструкциями, поддерживающими СУБД, в настоящий момент распущен. Существует также иерархическая модель данных. Иерархия сверху вниз, но не наоборот. В России был разработан ИНОС, для работы с моделями такого типа. Минус: очень сложная работа с данными, так как нельзя исключить ввод данных меньшего уровня без ввода данных с большей иерархии, поэтому была разработана реляционная модель данных. Она позволяет дублировать данные в случае необходимости, разбивая ее на различные файлы (отношения), которые подчиняются правилами реляционной алгебры. На пересечении домена и кортежа должно быть только одно поле (на пересечении столбца и строки). Отношение также должно иметь уникальное имя, столбец и строки также должны иметь уникальные имена. За этим требуется следить, поэтому придумали понятие целостности и языки работы DDL и обработки данных, например DML. Информация, где хранятся данные – метаданные Data dictionary. Это составная часть любой базы данных. SQL обязательный язык для манипулирования данными, без него она не будет продаваться. Одним из свойств SQL, является SQL целостность, которая поддерживается на уровне ядра. А именно ядро СУБД при правильном его определении обязано разбираться с целостностью данных, проверяя обязательный ввод первичных ключей (проверка not Null, для ссылок аналогично). Есть также еще проверки целостности, например целостность столбцов, отношений. Существуют 5 видов целостности, которые поддерживаются СУБД. База данных нужна для работы со многими пользователями, поэтому возникают проблемы, связанные с синхронизацией данных, которая позволяет блокировать запись при изменение их другим пользователем (lock, unlock), причем это должно быть в автоматическом режиме. Такое расписание называется последовательным расписанием транзакций, ядро следит, чтобы расписание было последовательным. Deadlock не должен возникать. Deadlock - это когда каждый из пользователей работает с данными и для разблокировки одного объекта требуется чтобы другой ее разблокировал, а он не может, так как ждет, пока первый пользователь разблокирует свои данные. Информационно-поисковые системы отличаются от базы данных тем, что отыскивается набор документов а не данных, которые связаны так или иначе с поисковой информацией, поэтому есть критерий сходства, который обеспечивает лучшее нахождение данных. В поисковых системах документ может содержать лишь часть запроса. Документ может храниться либо прямо, либо косвенно, то есть либо загружаться полностью, либо представляться в виде индексов. Обычно для того, чтобы найти используются специальные средства сравнения, компараторы, которые обеспечивает конечный автомат, который ищет по порогу сходства (схем сравнения), то есть по ключевым словам - это простые запросы. Сложные запросы – комбинация нескольких простых запросов. Ключевые слова объединяются в группы- тезаурусы. А группы документов для большей эффективности объединяются в кластеры. СУБД состоит из ядра, это резидентская часть, модуль, который запускает и контролирует работу процессов, обеспечивая целостность и обмен данными между ними. В состав СУБД входит так же совокупность утилит, которые архивирует, копирует, восстанавливает, утилита поддержки журнала транзакций. Стандартов на архитектуру СУБД нету, поэтому она определяется разработчиком. Язык SQL передает команды интерпретатору, который интерпретирует его в привычный вид (например СИ), он часто связан с оптимизатором запроса, который оптимизирует количество ресурсов, который минимизирует количество требуемых ресурсов для выполнения запроса. Далее, в зависимости от того, где расположен запрос он передается либо системе, либо, если запрос не локален, то он передается серверу, согласно сетевым протоколам, где он и обрабатывается с помощью превращения его в команды, понятные ядру. Есть запросы, которые должны выполняться очень быстро, поэтому существуют процессы, которые запускаются просто на сервере. Соответственно в данном случае оптимизация и обработка процесса осуществляется на сервере, такой сервер называется сервер приложения. На таком сервере так же существуют модули, которые способны распределять запросы для выполнения их на других сервера, исключая рабочие станции. С одной стороны в пределах одной вычислительной машины делят процессор и память, СУБД этим не занимается. ОС пишет информацию на диск. Следовательно, СУБД работает под управлением ОС, и, дополнительно, под управлением сетевой системы. Требования СУБД к ОС: ОС выбирает процессы согласно приоритетам, это проблема для СУБД, СУБД наоборот должна знать какой процесс запустить следующим, операционная система вредит ей, запуская процессы в прядке согласно внутренним приоритетам. Пример для Novelll Netware Запрос разбирается на сервере: Запрос разбирается на рабочей станции: Local OS Функции СУБД: 1. Управление словарем 2. Средства восстановления 3. Средства оптимизации запросов 4. 5. 6. 7. 8. Средства диспетчеризирования транзакций Передача данных Shell Диагностика и обнаружение ошибок Управление обменом буферами Никаких занятий с дележом памяти, процессора - это задача операционной системы. У нас может быть централизованная структура. Одно ядро обладает общими функциями, хотя выполняться они могут на разных рабочих станциях, и сама база данных может быть разнесена по элементам сети. А может быть Децентрализованная архитектура (запускаем несколько ядер), однако это связано с многими проблемами, в основном, с проблемами целостности. Лекция 6. Hardware обеспечение ИС. Любое устройство работает с помощью шины. Место куда ее подключают – порт. Цепочка Daisy channel (первоклассная цепочка) – одно из устройств шины: устройство А подключено к устройству Б, устройство С подключено к устройству Б, а устройство С подключено к порту. Контроллер- это совокупность микросхем, предназначенная для работы с портом или самим устройством. Основная задача ОС- аллокация памяти main memory, которая работает с процессором. Контроллеры IDE находятся непосредственно на диске. К шине компьютера подключается HBA (Host Bus Adapter), который расположен на материнской плате, далее SCSI (скази), предназначенный для подключения больших дисковых подсистем. На эту шину цепляется до 127 дисков. ОС дает команды SCSI-контроллеру, он переворачивает их в нужные команды для контроллеров дисков, и те работают, осуществляя операции ввода-вывода. Для серьезных дисковых подсистем требуется подключать диски разных производителей, имеющих одинаковую базу команд. (SCSI и служит для этого, так команды диски разных производителей исполняют по-разному). В обычном варианте процессор дает команды контроллеру, который их выполняет. Interleave – то, что устанавливается на уровне низкоуровневого форматирования для увеличения быстродействия работы диска (при этом пропускается 1-2 сектора, а за время, пока головка диска двигается к следующему, мы успеваем обработать данные). Partition – разделы, они требуются для отделения работы различных систем и т.д. У каждой системы своя система ссылок на файлы, поэтому требуется high level format – форматирование высокого уровня, оно проводится операционной системой. Reparation – восстановление утраченной информации, иногда является частью системы. Для того, чтобы работать с большим массивом данных придумали следующую технологию: Делается 2 диска, в режиме бекапа (mirrow), оно медленнее работает на запись и быстрее на чтение (используется более быстрый контроллер) 1 адаптер, 2 диска. Duplex – 2 адаптера, 4 диска. RAID – массив независимых дисков. Придумала IBM. Всего с 0-6 уровней. 1. Raid 0 – объединение дисков в 1 том. Отсутствует избыточность, увеличивается скорость, при поломке – летит вся система. 2. Raid 1 – зеркальное отражение, зеркальное дублирование, повышается надежность, увеличивается скорость чтения, уменьшается скорость записи. Mass update – специализированный модуль операционных систем, обеспечивающий быстрое обновление гигантского количества данных. 3. Raid 2 – организация памяти с коллекцией ошибок (ECC), проверяется на наличие ошибок. Например по четности. Чередование по дискам побитное, и отдельно есть диск с проверкой четности. Запись медленная, но большая надежность. 4. Raid 3 – усовершенствованный Raid 2, все тоже самое, но он рассчитан на то, что контроллер сам говорит в каком секторе произошла ошибка, это позволяет исключить операционную систему и увеличить поиск и быстродействие. Маленькое число длительных операций ввода вывода. Производительность операции записи мала, а считывание быстрое. 5. Raid 4 – поблочный режим. Один диск для контроля четности, одновременно несколько операций чтения, но одна операция ввода-вывода медленней, чем в других режимах. При больших операциях ввода вывода – выгодно. Если записи маленькие – не выгодно. 6. Raid 5 – поблочное распределение байтов. Проверка четности на каждый диск. Компромисс между вышеописанными системами. Выгодно при большом количестве маленьких записей. Менее производительный, чем Raid 0,1, при больших операциях записи – проигрывает 3-му. 7. Raid 6 – P-Q RAID. Поддерживается далеко не всеми контроллерами дисковых подсистем. Все алгоритмы, что и в 5-м, но вместо проверки на четности используется кодирование код РидаСоломона. На 4 бита 2 дополнительных, которые позволяют не только обнаруживать, но и исправлять ошибки, возможен вывод из строя 2-х дисков. Лекция 7. Среда передачи. Кодирование. На последующих лекциях мы будем говорить о дорогах. По дороге передается либо аналоговый сигнал либо цифровой. Когда мы передаем данные как аналоговый сигнал, мы используем параметры (фаза, амплитуда, модуляция). Цифровой сигнал передается 𝑃 импульсами. В ВЧ вся амплитуда меряется в дециБеллах. 1𝑑𝑏 = 10log10 (𝑃𝑜𝑢𝑡 ). Есть 𝑖𝑛𝑝 преимущества передачи в аналоговых сигналах и в дискретных. Цифровые сигналы легко восстановить после передачи. В аналоговых сигналах выше точность передачи, еще он меньше страдает от затухания, чем цифровой. Скорость передачи данных в битах, скорость передачи часов в ботах. Неизменяемая строка импульса — это часы. Чем быстрее время подъема импульса, тем быстрее передача. Дороги нужны длинные, иначе данные никуда не будут переданы. Можно передавать эти импульсы при помощи различных кодов. Надо учитывать тип дороги. TTL логика, CMOS логика — это один способ кодирования. Линейное кодирование — кодирование сигнала для передачи по дорогам. Самосинхронизирующие коды — это коды, в которых передаются в том числе и часы. NRZI придумал Майкл Кодден (используется на оптоволокне), также придумал FDDI. При этом методе кодирования передаче нуля соответствует уровень сигнала, который был установлен в предыдущем битовом интервале (уровень сигнала не меняется), а при передаче единицы - уровень изменяется на противоположный. Код используется при передаче по оптоволоконным кабелям, где приемник устойчиво распознает 2 состояния сигнала: свет и темнота. Manchester кодирование — смена сигнала идет в середине периода, раз в полпериода, часы передавать не надо, так как каждые полпериода мы отстукиваем. Манчестерский код относится к самосинхронизирующимся кодам и имеет два уровня, что обеспечивает хорошую помехозащищенность. Каждый битовый интервал делится на две части. Информация кодируется перепадом уровня, происходящим в середине каждого интервала. Единица кодируется перепадом от высокого уровня сигнала к низкому, а ноль - обратным перепадом. В начале каждого битового интервала может происходить служебный перепад сигнала (при передаче несколько единиц или нулей подряд). MLT3: 1- верх сигнала, середина периода — часы, отрицательный сигнал — 0. Используются три уровня линейного сигнала: «-1», «0», «+1». Логической единице соответствует обязательный переход с одного уровня сигнала на другой. При передаче логического нуля изменение уровня линейного сигнала не происходит. При передаче последовательности единиц период изменения уровня сигнала включает четыре бита. PAM5 – кодирование для витой пары. 5 уровней сигнала за битовый период, часы 4 бита. PAM16 – 16 уровней сигнала. 10,40,100 Гбит Ethernet. Группировка сигнала. Группировка сигнала – это формирование слова. Слово – это единица адресации в памяти компьютера (память – это массив слов). Слово имеет начало и конец, сигнал передается в виде слов для синхронизации. При всех вышеперечисленных кодированиях сигналы группируются: 4 бита группируются в 5 бит в 100 Мбит Ethernet, 8 в 10 в 1 Гбит Ethernet на волокне, 64 в 66 бит в высокоскоростных 10,40,100 Гбит Ethernet. Имеет место ASCII кодирование, EBCDIC. Модем преобразует импульсный сигнал в аналоговый при отдаче, при приеме происходит обратный процесс. Если нам нужно соединить 2 компьютера на расстоянии 2 метров, нужен Null modem. Мультиплексоры — MUX - “муксик”. Создание кабельных систем. Узкополосная система (baseband) использует цифровой способ передачи сигнала. Хотя цифровой сигнал имеет широкий спектр и теоретически занимает бесконечную полосу частот, на практике ширина спектра передаваемого сигнала определяется частотами его основных гармоник. Именно они дают основной энергетический вклад в формирование сигнала. В узкополосной системе передача ведется в исходной полосе частот, не происходит переноса спектра сигнала в другие частотные области. Именно в этом смысле система называется узкополосной. Сигнал занимает практически всю полосу пропускания линии. Для регенерации сигнала и его усиления в сетях передачи данных используют специальные устройства - повторители (repeater, репитор) Коаксиальный кабель пропускает 500 мГц. 6 мГц — передача одного ТВ канала. Если мы делаем передачу на большие расстояния, то нужна либо регенерация, либо конвертация в аналоговый сигнал. При широкополосной передаче Broadband мы передаем обычно в аналоговом виде. Чтобы передавать по одной и той же полосе эффективно, нам нужно много узкополосных сигналов передать в одном широкополосном – это и есть мультиплексирование. Демультиплексоры так же называют MUX. Мультиплексирование бывает частотное, временное и волновое (FDM, TDM, WDM). В мультиплексорах мы передаем по временным слотам. FDM При частотном мультиплексировании каждому каналу выделяется своя аналоговая несущая. При этом в FDM может применяться любой вид модуляции или их комбинация. Например, в кабельном телевидении по коаксиальному кабелю с шириной полосы пропускания 500 МГц обеспечивается передача 80 каналов по 6 МГц каждый. Каждый из таких каналов в свою очередь получен мультиплексированием подканалов для передачи звука и видеоизображения. TDM При этом виде мультиплексирования низкоскоростные каналы объединяются (сливаются) в один высокоскоростной, по которому передается смешанный поток данных, образованный в результате агрегирования исходных потоков. Каждому низкоскоростному каналу присваивается свой временной слот (отрезок времени) внутри цикла определенной длительности. Данные представляются, как биты, байты или блоки бит или байт. Например, каналу А отводятся первые 10 бит внутри временного отрезка заданной длительности, каналу В - следующие 10 бит и т.д. Кроме бит данных фрейм включает служебные биты для синхронизации передачи и других целей. Устройства сети, которые выполняют мультиплексирование потоков данных низкоскоростных каналов (tributary, компонентные потоки) в общий агрегированный поток (aggregate) для передачи по одному физическому каналу, называются мультиплексорами (multiplexer, mux, мукс). Устройства, выполняющие разделение агрегированного потока на компонентные потоки, называются демультиплексорами. Синхронные мультиплексоры используют фиксированное разделение на временные слоты. Данные, принадлежащие определенному компонентному потоку, имеют одну и ту же длину и передаются в одном и том же временном слоте в каждом фрейме мультиплексированного канала. Если от некоторого устройства информация не передается, то его тайм слот остается пустым. Статистические мультиплексоры (stat muxes) решают эту проблему, динамически присваивая свободный временной слот активному устройству. WDM WDM использует различные длины волн светового сигнала для организации каждого канала. Фактически это особый вид частотного уплотнения на очень высоких частотах. При этом виде мультиплексирования передающие устройства работают на разных длинах волн (например, 820нм и 1300нм). Затем лучи объединяются и передаются по одному оптоволоконному кабелю. Принимающее устройство разделяет передачу по длинам волн и направляет лучи в разные приемники. Для слияния/разделения каналов по длинам волн используются специальные устройства каллеры (coupler) Среди основных конструкций каплеров различают отражающие каплеры и центрально-симметричные отражающие каплеры (SCR). Отражающие каплеры представляют собой крошечные “перекрученные” в центре кусочки стекла в виде звезды. Количество выходных лучей соответствует количеству портов каплера. А число портов определяет количество устройств, передающих на разных длинах волн. Далее показаны два вида отражающих каплеров. Передающая звезда Отражающая звезда Центрально-симметричный отражающий каплер использует отражение света от сферического зеркала. При этом поступающий луч разделяется на два луча симметрично центра изгиба сферы зеркала. При повороте зеркала меняется положение изгиба сферы и соответственно путь отраженного луча. Можно добавить третий оптоволоконный кабель (fiber) и перенаправить отраженный луч еще на один порт. На этой идее основана реализация WDM – мультиплексоров и оптоволоконных коммутаторов. Основными факторами, определяющими возможности различных реализаций, являются мешающие наводки и разделение каналов. Величина наводки определяет, насколько хорошо разделены каналы, и, например, показывает, какая часть мощности 820нм луча оказалась на 1300-нм порту. Наводка в 20 ДБ означает, что 1 % сигнала появился на непредназначенном порту. Чтобы обеспечить надежное разделение сигналов, длины волн должны быть разнесены “широко”. Трудно распознать близкие длины волн, например 1290 и 1310 нм Оптоволоконный кабель (Fiber) Corning решили сделать легкую среду передачи на основе стекла. Добивались одобрения на это 16 лет. AT&T единственные, кто согласились проложить такую магистраль. Только в 2000е эта технология стала доминирующей. Сегодня все оптоволоконные заводы, занимающиеся вытяжкой волокна находятся в США. В нашей стране ассемблируют волокно, у нас идет экспорт волокна. Эти кабели представляют собой тонкие светопроводящие стеклянные или пластиковые сердечники (core) в стеклянной же светоотражающей оболочке (cladding), заключенной в защитную оплетку (jacket). Имеется множество конструкций оптоволоконного кабеля в зависимости от вида прокладки и требований по скорости передачи. Существует два вида оптического волокна в зависимости от диаметра стеклянного сердечника и стеклянной отражающей оболочки: многомодовое волокно - мультимод (62,5/125 мкм и 50/125 мкм) и одномодовое волокно - синглмод (9-10/125 мкм). На небольших расстояниях и относительно низких скоростях передачи применяются многомодовые кабели, на больших расстояниях и высоких скоростях одномодовые. Световой пучок передается по разным видам оптоволокна на разных длинах волн: мультимод - 850 нм и 1300 нм с затуханием 1,5-5Дб/км; синглмод - 1300 нм и 1550 нм с затуханием 1Дб/км. Достоинствами современных оптоволоконных кабелей являются: низкая стоимость (стеклянные компоненты значительно дешевле медных), лёгкость кабеля, очень высокая скорость передачи по сравнению с медными кабелями, нечувствительность к интерференциям и высокая защищенность от несанкционированного доступа. Недостатками являются пока еще высокая стоимость соответствующего сетевого и диагностического оборудования, квалификационные требования к инсталлирующему персоналу. Для присоединения оптоволоконных кабелей используются коннекторы. В настоящее время широко применяют ST-коннектор и SC-коннектор. Разъем ST используется для соединения всех видов многомодового и одномодового оптоволокна при подключении старого сетевого оборудования. SC имеет механическую развязку наконечника, фиксирующего элемента и кабеля, применяется в современном сетевом оборудовании. Оптоволокно должно быть мультиплексировано. Приемники, которые передают свет по волокно называют трансиверами. В современных системах используется волновое мультиплексирование. Свет при помощи лазеров или диодов будет передаваться на различных длинах волн. Передается либо по тонкому волокну, либо по толстому волокну. Мы можем разделить свет на кучу длин волн, то есть мультиплексировать (каплер). ITU говорит как передавать эти сигналы. DWDM – плотное мультиплексирование. CWDM – грубое мультиплексирование. Современное оптоволокно имеет пропускную способность до 100 тераГерц. Бобби Медколф придумал Ethernet. Лекция 8. Среда передачи. Кабельные системы. Дисперсия оптоволокна – физический процесс, который крепко мешает жить, т.к. свет преломляется и возникают затухания и искажения. Совокупность волноводной и материальной дисперсии - хроматичекая дисперсия. Качественные показатели этой дисперсии сказываются на характеристиках оптоволокна. Поляризационно-модовая дисперсия происходит в результате сколов, присоединений и нарушений волокна. Витая пара – 8 проводов, которые переплетены между собой и в пары. Виды витой пары: STP, FTP, UTP. EIA/TIA TSB-36 – характеристики, которые для нас просто необходимы, например затухание, волновое сопротивление, если мы выдерживаем эти параметры, то пары приобретают определенную категорию. Этот стандарт - наша святая библия. EIA/TIA 568, 569, 602, 607 - стандарты о том, как прокладывать, строить и т.п. Витые пары разных категорий отличаются способом навивки и некоторой защитой экрана. TSB-93 – стандарты для диагностику кабельной системы. В таблице представлен стандарт на разводку разъема RJ-45. Fluke, Wandel & Goltermann – ведущие производители диагностического оборудования, создают стандарты на то, как это делать (стандарты на мониторинг, диагностику, управление). Кабели имеют одинаковую конструкцию и отличаются плотностью и качеством навивки. Измерения кабеля проводят по 70 параметрам на определенных частотах и при определенной температуре. Основными измеряемыми характеристиками неэкранированной витой пары являются:    Attenuation (затухание) NEXT (near end crosstalk, перекрестное влияние на ближний конец) Impedance (полное сопротивление), равно 100 Ом для всех категорий +-15% на всех частотах. Витую пару разделила EIA/TIA на категории. Если эта категория 5 – витая пара диаметром 0,5 мм. Ее полоса пропускания 100 Мб, она не экранирована. 6 –я категория – 250 на одну жилу (их 4) гигабитный интернет или 10 гигабит на 37 метров. 6А категория – фольгированный кабель. Диаметр кабеля – 0,6 мм. Есть сепаратор, для гашения затухания. Скорость передачи 500 Мбит на одну жилу. Скорость до 10 гигабит на 100 метров. STP- кабель находится в сеточке. 10 гигабит без ограничения на 100 метров. Не сертифицирован EIA/TIA. 7A- кабель находится в сеточке и в фольге. Используется для кабельного телевидения. 1000 Мбит/с. Не сертифицирован EIA/TIA. Не сертифицирован потому, что нет стандартов для экрана, поэтому есть множество различных модификаций, эффективность которых не измерено. EIA/TIA и ANSI не хотят развиваться в этой сфере. Ведущие компании Германии и Америки говорят, что развиваться в этой сфере не имеет смысла, т.к. доминирующее положение с точки зрения скорости занимают оптоволокно. Поэтому совершенствовать витую пару не имеет смысла. Организация кабельных систем зданий и кампусов Подсистемы кабельной системы здания и кампуса. Структурированная кабельная система (СКС) состоит из совокупности подсистем, каждая из которых представляет собой набор кабелей, разъемов, соединителей и других продуктов, необходимых для экономичного решения проблема передачи данных на конкретной территории. EIA/TIA определила в стандарты для создания информационной системы (стандарт 568). Топология любых подсистем – звезда. Типы устройств и помещений, соединяющих кабельные подсистемы: Горизонтальный клозет и кросс (HC), промежуточный клозет и кросс (IC), главный клозет и кросс (MC) и аппаратная (ER) – помещение для активного сетевого оборудования. Число промежуточных клозетов между главным и горизонтальным клозетом – не более 1 клозета; между любыми двумя горизонтальными клозетам – не более 3 клозетов. Максимальная длина магистрального сегмента для витой пары – 90 м и не зависит от типа кабеля; для оптоволокна зависит от типа кабеля (см. таблицу). В стандарте EIA/TIA 568A определены следующие подсистемы структурированных кабельных систем для здания:      Магистральная подсистема здания (building backbone) Магистральная подсистема кампуса (campus backbone) Горизонтальная подсистема здания (horizontal subsystem) Административная подсистема (administrative subsystem) Подсистема рабочих мест (workplace subsystem) Подсистема рабочего места служит для присоединения терминала, компьютера или телефона к горизонтальной подсистеме. Среда передачи - кабель UTP/STP/Coaxial. Присоединение осуществляется при помощи розетки рабочего места. Розетка может содержать специальный адаптер, согласующий сопротивление различных кабельных систем (balun). Горизонтальная подсистема – это горизонтальная часть кабельной системы. Она соединяет телекоммуникационную розетку в зоне рабочих мест с административной подсистемой этажа в телекоммуникационном клозете.. Среда передачи – STP/UTP/Coaxial/Fiber. Административная подсистема состоит из совокупности коммутационных кабелей (патчкордов), устройств (патчпанелей), соединительных разъемов и блоков, которые подсоединяют горизонтальную подсистему к вертикальной системе здания. Административная подсистема располагается в телекоммуникационных шкафах. Магистральная подсистема здания (Building Backbone) – вертикальная магистраль здания. Она обеспечивает соединение между узлами административной подсистемы. Среда передачи – UTP/Coaxial/Fiber. Подсистема имеет топологию звезда, в которой каждый горизонтальный клозет (НС) соединен кабелем с главным (MC) или промежуточным (IC) клозетом. Campus Backbone (Metropolitan Backbone) – кампусная магистраль соединяет различные здания на ограниченной территории. В таблице 7.1 показано, что согласно стандартам протяженность этой магистрали определяется видом оптоволокна и составляет 2500 м для многомодового волокна и 3000 м для одномодового. В общем, такая ограниченная территория соответствует территории локальной сети. Средой передачи обычно является оптоволокно. Топология подсистемы – звезда, в центральном здании находится главный кросс. В главном клозете здания или кампуса осуществляется подключение к городской магистрали или глобальной сети (WAN). Если в кампусе несколько зданий, то главный клозет устраивают в том здании, к которому подходит городская магистраль, а в каждом из остальных зданий устраивается промежуточный клозет. Главная топология – звезда. Должны быть ограничения на расстояние, т.к. дальность определяет затухание. Между главным и интермедия клозетом если эта витая пара – 90 метров. Если multi-mode волокно – 2000 метров расстояние A, 500 метров расстояние B, 1,5 километра – С. Если single-mode – 3000 метров (6000 в диаметре). Между любым горизонтальным и главным не более одного клозета. Между любыми горизонтальными не более трех клозетов. Каскады запрещены. Архитектура кабельной системы должна быть модульной – это одно из наших ГЛАВНЫХ правил. EIA/TIA 607 - стандарты безопасности. Не любят экранированные витые пары, так как они требуют экранированные порты и т.п., а это спецзаказ, за куда большие деньги. На кабелях есть маркировки, которые говорят какие тесты прошел производитель, чтобы увеличить пожаробезопасность. Все кабели проходят тесты на горение, не выделение дыма, на слабое выделение газа. При прохождении всех трех тестов будет маркировка LSZH. Если некоторые не прошли, будут другие маркировки, например CMR (не прошел тест на горение) CMP (ничего не прошел). Лекция 9. Топология современных систем. Архитектура с точки зрения топологии. Сегменты системы и их связь между собой. Архитектура системы – это модули системы и способ связи между ними. Когда мы их связываем, то мы предполагаем какую-нибудь из топологий. Различают физическую и логическую топологию. Физическая топология – расположение устройств и связь между ними (серверы, рабочие станции, роутеры, коммутаторы и т.д.). Логическая топология — это пути передачи данных. Стандартов на эти понятия нет. В компьютерных системах обычно выделяют следующие топологии: звезду, шину, кольцо, смешанная, гибридная. Началось все с телефонных систем, у которых топология точка-точка (станция – станция) или точка (станция – пользователи) – много точек. Отсюда проблема: какая топология должна быть и как с этим бороться. Если Point-to-Point, то адресация очевидна. Я тебе передаю данные, а ты мне. Если несколько устройств – требуется метод доступа и адрес может быть как физическим, так и логическим. Обычно метод доступа работает для определенной топологии. Первая топология звезда: по центру – какое –то устройство, с ним соединением Point-toPoint другие устройства. модули системы работают так же. Что-то на рабочих станциях, что- то на коммутаторах и т.д. Все современные системы основаны на этой топологии. (99% передачи данных это интернет) Это стандартная интернет топология. Она считается наиболее простой для диагностики ошибок. Обычно по центру стоит либо repeater (hub) , либо коммутатор. Hub просто усиливает сигнал и его регенерирует. А коммутатор просто коммутировать (соединять одни порты с другими). И hub'ы и коммутаторы работают на модели OSI 802.2. Hub’ы – 1-й уровень. Коммутаторы – 2-й уровень модели (т.к. присваивается физический адрес) Топология шина – линейное подсоединение устройств. Очень экономная. Очень неэффективная с точки зрения поиска ошибок. Применяется очень редко. Максимально 500 метров – 2,5 км. Модификация очень тяжела. Топология кольцо: Устройство объединены в кольцо. Компьютеры не являются частью кольца. Модули системы на них не работают, на них работает системный софт. А модули системы подсоединяются к устройствам (по сути это смешанная топология). 802.6 – кольцозвезда для крупных сетей. И 802.5 для обычных. Гибридная топология – смесь кольца и звезды. Устройства подсоединены через модуль, который является частью кольца. Это гибрид кольца и звезды. Смешанная топология. Всякие устройства, на которых работают модули системы и каждый соединяется с каждым. (Point-to-Point каждого устройства). В принципе не возможна, т.к. интерфейс каждого компьютера должен соединиться с каждым. Есть смешанные топологии для беспроводных систем, но только для специализированных устройств. Т.к. каждое устройство чего-то передает, то надо договориться о правилах, иначе мы просто столкнёмся. Правила, по которым мы передаем, по которым входим в канал, по которым заканчиваем передачу. Иначе мы друг другу ничего не передадим. Такие правила называются методом доступа в канал. Существует три вида доступа: contention (соревнование), Polling (голосование), token (маркерный). А так же их комбинации, но в основном используют contention. Этот метод доступа применяется в Ethernet называется он Carrier Sense Multiple Access with Collision Detection — множественный доступ с контролем несущей и обнаружением коллизий (CSMA/CD). Contention проверяет занят ли канал, и если да – пробует 16 раз Если нет – занимает канал. Требуется учитывать конфликт (коллизию), если она обнаружена, то требуется предупредить других. Коллизия будет обязательно на порту коммутатора, т.к. метод доступа CSMA/CD. Если я передаю и принимаю – коллизия. Если на порту станции и передается, и принимается, то возникает коллизия, это нормально, но количество коллизий не должно быть слишком много. Для интернета это значение не должно превышать 5%, если больше – это уже ошибки. Есть специальные методы доступа с avoidance, которые сперва связываются с вами и говорят, что станция доступна, это позволяет избежать части коллизий, но они все равно будут. Нам дадут передать только если полоса пустая в этом случае. CSMA/CD поддерживается стандартом IEEE 802.3 Polling одно из устройств мастер, другое Slave. Одно из устройств опрашивает и контролирует второе. Так работают IDE контроллеры, Мейнфреймы, диагностическая аппаратура. Этот метод доступа применяется частично в WiMAX. IEEE 802.16 стандарт. Token ring(топология кольцо). Способ разделения канала предполагает как соединены устройства, с этим ничего не сделаешь. Одно устройство вырабатывает маленький пакетик – фреймик. Если ты это фрейм получил, то можешь начать передачу (мой канал освободился). То устройство, у кого минимальный физический адрес вырабатывает маркер. После этого оно становится монитором, оно проверяет потерялся ли он и проводит активный мониторинг в этом плане. Пускает по кругу beacon (маячок). Если он приходит с ошибками – тестирует. Если потерялся – вырабатывает заново. Диагностика с ошибками называется beaconing. И каждое устройство, которое в сети должно этим заниматься. Если сломался тот, кто вырабатывал маркер, то следующий с минимальным физическим адресом вырабатывает новый маячок. Это специальные устройства, у которых либо хард специальный, либо еще и софт, который занимается всем мониторингом сети. Проблема управления и мониторинга это одна из самых сложных проблем в информационных системах. Устройства нужно между собой связывать (коммутировать.) и просто топологий и методов доступа для этого не достаточно, нужны методы коммутации, присоединения одного устройства к другому. Виды коммутации: Коммутация каналов. Первый метод доступа, который придумали. Практически не используется, однако у IBM есть логическая коммутация. Не эффективна, т.к. для коммутации устройств на каждом этапе требуется дать ему канал. Это физическая коммутация. Коммутация сообщений. От устройства А к Б по определенному пути, который мы ему задали. Это логическая коммутация. Сообщение: Некий кусочек информации неопределенной длинны. Практически не применяется, т.к. оно может быть слишком большое. Если сообщение слишком большое, то применяется технология Store Forward. Она применяется, например, для отправки почты. Оно запоминается где-либо, например, на диске и передается частями. Коммутация пакетов. В конце 60-х годов RAND Corporation, которая консультирует и создана на деньги DoD – Department of Defense службы безопасности штатов, сказала, что требуется коммутация пакетов. Для того чтобы быстро отправлять и не думать какая память нужна и не бороться с очередями, буферами и т.д. передавать мы будем не сообщения, а пакеты определенной длинны. В Ethernet 1518-1522. Мы знаем размер пакета (фрейма) и понимаем какого размера буфера нужны, поэтому нам не нужна Store Forward. Если сообщение большое – разбиваем на кусочки и можем их отправлять по разным каналам. У этих кусочков будут порядковые номера и смещение относительно начала, чтобы понимать как их собирать. В этом кусочке есть Destination address и Source address, кто является источником, кто приемником. Это называется Date grammar. Работать Мы будем быстро и это хорошо. Virtual Circuit. (Виртуальный канал). От устройства А к F, но перед этим установим соединение, это логическая топология. Физически может быть звезда, а логически точка – точка. Один канал Point-to-Point. Договариваемся о скорости, об определенных параметрах передачи, например максимальный размер пакета. Необходимость подтверждения о доставке, и будем делать это разными вариантами. Можно установить логическое соединение как на один сеанс, так и навсегда. Можем договориться, что размер данных будет меняться. Sliding windows – скользящее окно – размер передачи меняется. Connection loss – без подтверждения принятия сообщения. А можно с подтверждением. Все такие виды передачи, это коммутация при помощи передачи пакетов. После того как компьютеры объединили при помощи какой-то топологии и запустили на них какие то программные продукты. Но как соединять острова компьютеров мы не понимаем. Это стандартные решения. Которые определяются теми принципы, на которых строятся устройства собирающие эту топологию. Делается это при помощи мостов, коммутаторов роутеров и шлюзов, и топология нашей системы будет определяться правилами их присоединения. Смысл следующий: после того как компьютеры объединили, например, в шине, произошла проблема – изменилась скорость передачи, т.к. компьютеры общаются между собой по общему каналу. Но некоторые компьютеры не общаются между собой или общаются очень мало, поэтому эти компьютеры отсекаются. Устройства, которые делят называются bridge (мост). Если моя задача просто удлинить сеть, то нужно поставить усилитель – hub. А если нужно поделить трафик, то нужно поставить мост. Мосты бывают TR (transparent) – прозрачный (самообучающийся), SR – source rooting, SRT source rooting transport. Мы строим таблицу маршрутизации, никто из станций сети и модулей систем об этом просто не знают. Затем эту табличку просто поддерживаем, проверяя наличие/отсутствие других устройств. Мы отсекаем лишние фреймы, пропуская только те адреса. Которые могут через нас пройти, тем самым уменьшая трафик в системе. Коммутатор – мультипортовый мост. Занимается микросегментацией, усиливает сигнал и передает с одного порта на другой. Могут быть TR и SR. Включаем устройства и определяем способы передачи, для определения скорости каналов. Весь интернет это транспорт. SR обычно встречаются в других сетях. Все устройства работают в сети по MAC адресу, который прошивается либо во флеш-памяти (можно перепрошить) либо напрямую в железе, что лучше, т.к. адрес будет уникальным. Первые 2 байта – это производители. Первый производитель это интел. Технология коммутация бывает трех видов: 1. Storing forward. (Сохрани и передай) Пришел фрейм, ты его полностью принял, определил от кого и кому и отправил на тот порт который нужен. Меньше производительности, меньше ошибок. 2. Cut through. Не будем запоминать весь фрейм, так как назначение идет в заголовке, как толь считал – передаем куда надо не дожидаясь полной передачи. Больше производительность, больше ошибок. 3. Fragment free. Это комбинация. Запоминается часть пакета, и только потом передаем. За это время определяются ошибки и используется в топологии. Cisco Коммутатор имеет процессор, память и соответствующие буферы, куда попадает ввод/вывод сетевого адаптера. Буфер может быть, как у каждого порта. Так и общий. Тип передачи определяется либо информационной системой, либо хардвером и повлиять мы на это не можем. Есть коммутаторы, которые переключаются самостоятельно. При переключения, в зависимости от состояния канала, производительность может как падать, так и возрастать. Все современные системы — это коммутируемые сети. При этом на коммутаторах работают свои операционные системы. А на бриджах нет. Локальная система – система, которая имеет в диаметре 4-6 км. В зависти от того какое волокно лежит. А если мы в эти расстояние не укладывается, то один сегмент сети соединяется с другим при помощи роутера. Если хотим отправить в даль, то мы не можем каждому устройству передавать по физическому адресу, поэтому мы присваиваем адрес некоему кусочку subnet. Этот адрес задается администратором системы, это логический адрес. И будем пересылаться группе устройств. И маршрутизатор поддерживает табличку, чтобы определять как добираться от одного к другому. Кому передавать чтобы добраться до конечного subnet. Роутерная табличка маршрутизации. Локальная сеть – это кампусная сеть. Роутеры Работают на 3-м уровне модели ISO. Последний тип устройств, которые составляют ядро архитектуры системы – шлюзы. Мы можем подсоединяться не только к точно таким же сегментом, но можем подсоединить сегмент, например, к мейнфрейму и вот тогда возникает проблемы кодирования (оно может быть разное), среды передачи (оптоволокно или коаксиал) и т.д. И требуется вместо роутера иметь шлюз, это специальное устройство gateway, которая конвертирует то что я делаю по всем 7 уровням модели ISO. Все от начало и до конца. Иногда шлюзами называют устройства, которые конвертируют все семь уровней. Иногда если более 4-х. Лекция 10. Архитектура удаленного доступа (Архитектура средств последней мили). Интернет с большой буквы (Internet)– глобальная сеть Интернет с маленькой буквы (Internetworking) – соединение сегментов сети. Самой крупной сетью общего пользования является телефонная сеть (PSTN -public system telephone networks). М9 ОС АТС ДОМ campus Модель телефонной сети города. Есть узел оператора связи, на узле оператора связи есть телефонная станция. Первые 3 номера говорит о ее номере, это идентификатор узла. Узлы операторов связи между собой связаны, как видно на рисунке. Есть точки присоединения городской сети к сети национальной или международный. В Москве это узлы М9 и М10, которые присоединяют городскую сеть к международным сетям. Соединения называются транки (trunk). Наша задача подсоединиться к этой сети. Эти средства подсоединения называются последней милей (last mile). Проблема в том, что последняя миля это теперь первая миля First mile. Телефонные сети общего пользования не были приспособлены для передачи данных, они создавались 150 лет назад для того, чтобы передавать голос, а для передачи данных есть требования: требования широкого канала (4кГЦ передается как 64 Кбит), ограничения по расстоянию. Т. к. на больших расстояниях в них происходит затухание, с коим мы вынуждены бороться. Бороться с этим начали достаточно давно. Для этого используются специальные технологии, которые начали разрабатывать еще до второй мировой. 1938-й год первые такие вещи были сделаны в лаборатории Bell. Технология, которую они начали разрабатывать называется АСД. Телефонная сеть совсем не предназначена для передачи данных, ни для высоких скоростей, не для широкой полосы пропускания. Но она уже лежит ее положили и перекладывать ее было бы тихим безумием. Есть и другая проблема, когда мы пропускаем голос (4кГц), то стоят фильтры, которые режут все сверх этого, т.к. все остальное считается шумом. Но при передаче данных нам нужно не 4 кГц, а 64. Поэтому оператору связи требуется снять фильтры. Далее мы должны протестировать каналы и сказать что эти каналы вообще годятся для передачи данных, а не голоса. Это Не всегда так, т.к. могут стоять специальные емкости, чтобы улучшить сигнал в диапазоне 4 кГц, которые нам будут страшно мешать когда мы передаем данные. И все это приводит к тому, что последние мили для передачи данных нужно специальным образом организовывать, протестировать, снять фильтры которые мешают и выделить линию тому, кто будет подсоединять систему к сетям общего пользования. Такая линия, которая выделяется называется выделенной. Выделенная линия и private line постоянно путают. Private line – частная линия, конкретно для вас, а выделенная линия – линия для передачи данных. Проверить ее работоспособность – первое что нам надо сделать. А второе – организовать такой доступ при помощи специальных технологий, который позволит на этой миле передавать данные в цифровом виде как импульсы, а не в аналоговом как это происходит при телефонии. АСД предполагает, что у нас будут стоять специальные мультиплексоры (муксики) с двух сторон, и мы будем по временным слотам передавать данные. Это будет TDM - Time Division Multiplexing, мультиплексирование. Это будет временное мультиплексирование, и мы будем по этим слотам передавать данные. Эти слоты нумеруются как буквы латинского алфавита A,B,C,D,E,F и т.д. Эти мультиплексоры будут стоять и у операторов связи и у нас. Комбинация каналов стандартизировано это требуется для того, чтобы понимать, как соединиться. С той стороны где кампус они называются абонентскими терминалами. Мы будем передавать по ним данные и комбинация этих каналов стандартизирована: Канал MUX А Канал MUX В Канал MUX С Канал MUX D Канал MUX Е Канал MUX Н 4КГц - аналоговая телефония 64 Кбит/с, цифровой канал для передачи информации 8-16 Кбит/с, для передачи управляющего цифрового сигнала 16-64 Кбит/с, для передачи управляющего цифрового сигнала 64 Кбит/с, цифровой канал с сигнализацией ISDN 384 или 1536 или 1920 Кбит/с, цифровой канал ITU-T стандартизировал три комбинации каналов для предоставления в качестве сервиса абонентам. Укажем их кратко: 1. Комбинация из двух каналов типа В и одного канала типа D: 2B+D (2*64 Кбит/с+16 Кбит/с). Такую комбинацию называют «BR1 - базовый доступ». Используется, например, для расширения услуг, предоставляемых городской АТС (переадресация вызовов, конференц-связь, удержание вызова и пр.). 2. Комбинация из 30-ти каналов типа В (в Европе) и одного канала типа D (64 Кбит/с): 30B+D (30*64 Кбит/с+64 Кбит/с) или комбинация из 23- х каналов типа В (в США, Японии) и 1-го канала типа D (64 Кбит/с) - 23B+D. Такую комбинацию называют «PRI первичный доступ». Соответственно в Европе - это линия со скоростью 2048 Кбит/с (Е1- канал), а в США - 1544 Кбит/с (Т1-канал). Каналы с такой пропускной способностью используют, например, для подключения корпоративных АТС (РВХ) к городским АТС. 3. 1А+1С - гибридная комбинация для аналоговых телефонов. Есть также и другие комбинации каналов. АСДН предполагает, что у нас везде лежит медь, поэтому минимальная скорость 64 кБит/сек. Однако у нас между странами и еще много где лежит оптоволокно и нам уже не очень интересны проблемы меди. А для оптоволокна всего 1 вид кодирования NRZI. Bell Laboratories в лице своей компании сказал, что нам нужна новая технология. Нужна такая технология, которая была бы терминирована на узле связи, т.к. дальше идет волокно и нам уже не нужны все наши выкрутасы с медью. Нам нужна технология, которая была бы медной только для узла операторов связи. Поэтому на узле операторов связи ставится DSLAM. Это специальный мультиплексор, который по последней миле передает по технологии xDSL, а с этой стороны ставится некоторое устройство, которое принято называть DSL модемом хотя это ошибка, т.к. он ничего не модулирует. А принимает все в цифровом виде. К этому сигналу он пририсовывает нужные фреймы, чтобы получить второй уровень (физические адреса), а затем и логические адреса и далее в протоколах IP передает уже через роутеры, которые стоят на узлах связи. Почему xDSL много? Дело в том, что это развивалось в штатах, а DSLAM стоят на узлах связи, DSL модемы стоят у пользователей. Если я подсоединю не одного пользователя, то мне нужен роутер, а если подключить кучу компьютеров, то еще и коммутатор. В штатах последние мили разной длины. У них принято 3 диапазона последней мили до 2-х километров, до 4-х километров и до 6-ти километров. И, соответственно для каждой длинны возникают свои проблемы с затуханием, с наводками и для того, чтобы эти проблемы обойти придумывают различные виды технологий. Одни виды используют одни виды модуляций, то есть кодирования, которое позволяет нам обойти эти проблемы. Все последние версии DSL используют DMT кодирование (4096 несущих за один битовый период). Все технологии должны учитывать взаимное влияния пар (NEXT’ы, FEXT’ы) влияние пар на ближнем конце, на дальнем конце, с ближнего на дальний. А также должны учитывать импульсные шумы, которые возникают в кабелях, которые рядом лежат. Но для того, чтобы все эти проблемы решить нам нужно использовать специальные виды кодирования. Чтобы удалять получившиеся ошибки. И для этого придумали специальные виды DSL. Для удаления ошибок используются специальные методы кодирования. Есть DSL, которые избегают NEXT’ов (наводок на ближние концы). Есть DSL которые избегают проблем FEXT’ов (наводок на дальние концы). Есть DSL которые хорошо защищены от помех. И вот эти различные проблемы приводят к тому, что DSL имеют различные названия и параметры. Для преодоления перечисленных проблем в технологиях xDSL используют специальные методы линейного кодирования (модуляция) и эквалайзеры, исправляющие форму импульса по шаблону. В технологиях xDSL применяют модуляцию DMT (Digital Multi Tone, дискретная многоканальная модуляция), CAP (Carrierless Amplitude and Phase Modulation, амплитудно-фазовая модуляция без передачи несущей), 2B1Q (2 binary, 1 quartenary), ТСPAM (Trellis Code Pulse Amplitude Modulation, амплитудно-импульсная модуляция с треллискодированием), DWMT, QAM, SDMT. Есть три главных компоненты: САР применяется в SDSL, HDSL; DMT - (ANSI стандарт Т1.413) для ADSL и VDSL; 2B1Q реализован отдельными производителями в HDSL. Для надежной работы в тяжелых условиях с большими значениями NEXT, FEXT и эхоподавлением разработаны ISDN (RRD зона) и HDSL (CSA зона). Если исходящий и входящий сигнал в xDSL-линии формировать в разных частотных спектрах (нисходящий и восходящий поток, асимметричная передача), то можно работать в среде, ограниченной только FEXT. Это реализовано в технологиях ADSL, VDSL, HDSL2. Используется термин - FEXTограниченный DSL. Но FEXT-ограниченные DSL-системы подвержены действию импульсных помех больше, чем NEXT-ограниченные виды DSL. При этом смесь наводок может создать шум в достаточно широком диапазоне частот и сильно ухудшить работу DSL-систем, основывающихся на несимметричных частотных планах. Такая проблема возникает в ADSL, VDSL, но не бывает в ISDN и HDSL-системах. Если мы хотим избегать всего на свете, то это HDSL. Требует 4-х пар вместо двух, имеет скорость 2 Мбит, но позволяет избежать ошибок на расстоянии до 4 км. Для больших расстояний и большей скорости требуется ADSL, передающий с разной скоростью в разных частотных диапазонов. Который передает с низкой скоростью в исходящем потоке и с высокой скоростью с нисходящей (7,5 до 10 Мбит). Это сделано за счет того, что мы исключили влияние шумов, т.к. передаем в разных частотных диапазонах. До 6 км. Есть VDSL – до 100 мБит. Предполагается, что из оптоволокна конвертируется в медь и передается не более 2-х км. Всего 3 варианта последней мили: 1. Оптоволокно 2. Медь 3. Беспроводные Сети Рассмотрим вариант с оптоволокном для городских условий. Старая медь очень не эффективная для видео. А передача видео стало основным. (CISCO Видео — это голос сегодня). На сегодняшний день 70% трафика это видео. При этом возникают куча сложностей: 1. Данные очень большого объема. Например фрейм 600x800 пикселей и еще на 24 – количество цветов. (11,5 Мбайт 1-на картинка). А для нормального просмотра видео нужно передавать 25-30 фреймов в секунду. А это скорость 345 Мбит/сек. Это минимальная скорость для передачи видео. Это при том, что картинка сжата, но это еще не HDTV. Это безумная скорость и безумная полоса пропускания. 2. Видео должно идти последовательно. Мы не можем пропускать фреймы, а для этого требуется писать специальные операционные системы. Сейчас технологии DSL практически не используются. Но для нас главная проблема 345 Мбит/сек. А у нас не получится ее получить на меди, как, в прочем, и по эфиру. Придумали технологию для оптоволокна FTTx - Fiber To The x. Оптоволокно идет прямо на этаж, непосредственно рядом с квартирой. Fiber можно подключать непосредственно к зданию это Fiber To Building FTTB. FTTC – до квартала или группа домов. Или до микрорайона FTTN. Если больше 300 метров – микрорайон, иначе квартал. В Москве FTTx. Для передачи в одну сторону будет использоваться одна длинна волны. От операторов связи к вашей квартире 1550 (single-mode), в обратную 1310. Такая технология предполагает, что расстояние 40 км. EPON – технология передачи в формате Ethernet Может передаваться не EPON, а 10 GPON – 10 Гбит. Может передаваться Гигабитный интерне GPON. В правительстве не применятся, они используют GPON (позволяют передавать фрейм в технологии SDH, скорость гигабит). XG-PON – 10 Гбит/сек позволяет развить большую скорость. Есть также возможность передавать в беспроводной сети. Предполагает, что соединение будет сделано на основе каких-то передающих устройств с антеннами с двух сторон. Такое соединение называют wireless - беспроводное. Для беспроводной передачи используются различные технологии, например ИК-порт (высокоскоростной, но на очень маленьком расстоянии), Лазерная (высокоскоростная, но на 25 метров), передача в коротковолновом диапазоне. Это все используется, но в специализированных системах. Сейчас используют WiMAX и Wi-Fi, ЭТО СТАНДАРТЫ 802.16 и 802.11 ITE– использует ISM диапазон Industrial, Scientific, Medical, для передачи научных, медицинских и индустриальных данных. На частоте 2.4 ГГц передаются всевозможные широкополосные шумоподобные сигналы. Идея проста: мы можем передавать сигнал как шум. Мы можем не использовать узенький диапазон частот, т.к. всегда возникают какие-то помехи, например из-за атмосферы. Для того, чтобы это обойти мы сперва передаем сигнал на этой частоте, а потом еще 16 раз на других, просто его дублируя. И для того, кто его считывается он воспринимается как шумоподобный. Медицинский диапазон – после 5 МГц, для науки – 2,4, для индустрии – 900. Для реализации монтируется чип в аппаратуру, который кодирует таким образом, что опознать его может только устройство с аналогичным чипом. Для всех прочих – шум. Wi-Fi работает не на последней мили. Он предназначен на расстоянии до 100 метров. Это дом, помещение без перекрытий. Используется, когда тащить кабель неудобно, а связь нужна, но тут есть другие проблемы – прямой видимости и т.п. WiMAX использует скорость до 50 Мбит/сек и обладает радиусом до 30 миль (50 км), но эту скорость никто не смог достичь по факту. Из-за следующих обстоятельств: 1. Потеря мощности сигнала из-за состояния эфира 2. Физические процессы и географические особенности местности 3. Потеря мощности от расстояния 4. Потеря мощности из-за прямой видимости. Прямая видимость – видимость по первому полю Френеля. А поскольку ЭМ. Магнитное излучение передается по параболе, а земля круглая, то она умудряется еще и отражаться от земли и пр. препятствий, как только увеличивается расстояние и возникают затухания и т. п. Для того, чтобы от этого избавится придумали технологию LTE. Он работает в более широких диапазонах чем WiMAX c хорошим кодированием. При котором каждый сигнал из последовательного превращается в параллельный, передавая его много раз в разных частотах, дабы избежать препятствий. Частично реализован и обещает скорость передачи до 300Мбит/сек. Лекция 11. Ethernet. Придуман в 85-м году компанией Xerox. Человека, который его придумал зовут Бобби Медколф. Затем сделал свою компанию 3com. Затем Ethernet был стандартизирован IEEE комитетом 802.3. Этих технологий масса, но все реализованы стандарте 802.3. Все Ethernet’ы имеют один метод доступа Carrier Sense Multiple Access with Collision Detection, поэтому все сети называют CSMA/CD сети. На уровне 802.2 у всех один LLC - Logical Link Control. У всех Ethernet’ов один метод доступа в канал и один контроль управления. Но они отличаются физической реализацией модели OSI. У Сетевого адаптера есть MAC контроллер, который связан шиной с процессом. Он специальным интерфейсом MII связана с чипами на адаптере. Чипы занимаются подсоединением к среде оптоволокну, витой парой к разным разъемам. Поэтому чипы в модели IEEE реализуются PMD - Physical Medium Dependent. С другой группой чипов, которые соединяют то что зависит от среды с тем, что от среды не зависит, эти чипы называются PMA- Physical Medium Attachment. Все Ethernet’ы отличаются этой частью. MAC контроллер осуществляет метод доступа в канал. Мы должны согласовать разные параметры среды, определенным образом кодировать сигнал и определится с временем. Адаптер управляется драйвером, который в свою очередь работает с операционной системой. Logical link controller одинаков не только у всех Ethernet’ов, но и у всех сетевых технологий. С точки зрения OSI есть physical уровень, с точки зрения IEEE это тоже physical, но она разбита на три части, это PMA, PMD, PCS. C точки зрения OSI мы просто задаем физический адрес и этот адрес есть MAC адрес устройства: Data link – присваиваем физический адрес фрейму. Для передачи из одного адаптера другому. С точки зрения OSI есть уровень network, это уровень на котором мы присваиваем компьютеру (или группе компьютеров) логический адрес (это не обязательно ip адрес), это его идентификатор в сети. IEEE гласит, что на 3-м уровне модели OSI должны работать специальные протоколы управления, которые работают согласно протоколам 802.1X. LLC – осуществляет контроль соединения и скорости делаем по 802.2 MAC - контроль доступа делаем по 802.3, 802.5, 802.11 На уровне 802.2 (LLC) будем контролировать соединение между адаптерами и будем контролировать скорость. Для того, чтобы это делать мы будем вырабатывать специальный фрейм, который будет иметь определенный формат: MAC header DSAP address 1 байт SSAP address 1 байт Contol 1 или Information 2 байта MAC CRC А заканчивается проверкой, которую делает контроллер. Процессы, которые вызываются на сетевом уровне специфицированы на ITI и все производители сетевого оборудования этого придерживаются. Последний Бит указывает запрос это или ответ к процессу. Такой контроль будет осуществляться для того, чтобы гарантировать, что есть соединение между устройствами. В случае потери соединения этот контроль позволяет его восстановить, тут же договариваются о скорости. На уровне хардвера работает установка скорости. Передавать можно как с подтверждением (используется очень редко), так и без подтверждения, это используется чаще, т.к. мы рассчитываем, что работаем по оптоволокну, которое находится в хорошем качестве. И мы не рассчитываем, что происходят какие-то сбои в кабельной системе. Если передача с установкой соединения и подтверждением – connection oriented. Если без подтверждения connectionless. Их комбинации называются классы контроля передачи. 1. Без подтверждения, без установки соединения. 2. С подтверждением, с установкой соединения. 3. Без установки соединения, но с подтверждением. Это все определил LLC в этих протоколах. На уровне MAC. Если технология Ethernet, то что делает контролер зависит от метода доступа в канал. Метод доступа в канал Ethernet всегда CSMA/CD. Он подразумевает следующее: Я постоянно слушаю несущую, если она свободна – начинаю передачу. Все передача осуществляется с помощью фреймов, между ними интервал 12 байт. После того как передал, слушаем, т.к. в противном случае мы можем заглушить передачу других забив канал. В том случае если я обнаружу, что я начал передавать, а кто-то уже передает мы ждем некоторое время, время измеряется в слотах и слот Ethernet -512 бит. Максимум ожидаем 16 раз, при этом интервал ожидания сокращается, но если за это время мы не пробились, то выдаст ошибку. Если освободились, то начинаем передавать. Если мы начали передавать и вдруг возникла передача у другого, то возникнет коллизия over voltage. Как только ее обнаруживаем, то всем остальным сообщаем, что у нас коллизия. Пробка «JAM» специальный сигнал 32-48 бит, он не стандартизирован с точки зрения длинны и содержания, но стандартизирован размер. Гарантировано, что она такая, чтобы дойти до самого конца сети. Чтобы там не началась передача. Значит должна быть достаточно большой, чтобы держать канал. Как только пробку передали мы понимаем, что сигнал надо остановить. Коллизии в Ethernet это норма. Если топология Ethernet звезда, то коллизии на порту коммутатора, если типа шина, то в шине. CSMA/CD предполагает полудуплексный метод или мы передаем или принимаем. Какие Ethernet’ы бывают. Их гигантское количество. 10 Мбит’ные Ethernet’ы мы рассматривать не будем. Рассмотрим 100 Мбит Ethernet. Гигабитный Ethernet имеет 2 вида 1000BASE – 2 вида X, T Дести гигабитный Ethernet 10GBASE. Семь видов Ethernet’а. 40 гигабитный – 40GBASE. Семь видов Ethernet’а. 100 Гигабитный – 100GBASE. Семь видов Ethernet’а. Новые топологии и новые технологии начались со 100BASE Ethernet. Поэтому рассмотрим его более внимательно. Основная идея Fast Ethernet (быстрого Ethernet) заключается в том, чтобы оставить без изменений форматы кадров Ethernet, процедуры и лишь уменьшить битовый интервал со 100 нс (0,1 мкс) до 10 нс. 100-мегабитный Ethernet (100Base Ethernet, Fast Ethernet) использует абсолютно тот же формат кадра, метод доступа в канал CSMA/CD, топологию «звезда» и контроль соединения (LLC - подуровень), что и стандарт IEEE 802.3 (lOBaseT Ethernet). Принципиальная разница заключена на физическом уровне OSI - в реализации устройств PHY. Реально физическое устройство PHY - это чип на сетевом адаптере или на отдельном трансивере. Подробно мы их обсудим далее. Существуют три основных версии Fast Ethernet: 100 Base-TX, 100 Base-74 и 100 Base-FX. Все версии обладают одинаковой скоростью передачи -100 Мбит/с, но используют разную среду передачи. (см. таблицу ниже) Возможность использования для организации быстрого Ethernet витой пары категории 3 означает возможность не перекладывать кабель во всем здании при модернизации сети. Это было очень существенно для многих компаний в 1995 году, когда был принят стандарт на такие сети. Технология 100 Мбит Ethernet описывается стандартом IEEE 802.3u, который является просто добавлением к стандарту IEEE 802.3.100BASE Ethernet имеет 3 вида (fast Ethernet) TX, T4, FX У всех видов Ethernet топология – звезда. Канальный уровень Подуровень LLC является интерфейсом между МАС-подуровнем и сетевым уровнем модели OSI. Как уже говорилось выше, он не изменился с появлением Fast Ethernet. Подуровень MAC соответствует стандарту 802.3, метод доступа в канал - CSMA/CD, метод контроля ошибок - кодирование циклическим кодом (CRC) и посылка пробки, временной слот - 512 бит, длина фрейма 64- 1518 байт. Таблица 4.1. Характеристики сетей Ethernet 10Base-T 100Base- TX, Т4 100Base-FX 1000Base -X 1000Base-Т 10G-Base 10G-Base 802.3 802.3 802.3 802.3 802.3 802.3 802.3 CSMA/CD CSMA/CD CSMA/CD CSMA/CD CSMA/CD CSMA/CD CSMA/CD Flow control 802.Зх 802.2 LLC 802.Зх 802.Зх 802. Зх 802.3х 802.Зх 802.3х 10 Скорость Мбит/с передачи информации Data rate* 100 Мбнт/с 100 Мбит/с 1000 Мбит/с 1000 Мбнт/с 10 Гбит/с 10 Гбнт/с 125 Мбнт/с 125 Мбит/с 1250 Мбит/с 1250 Мбит/с 1U Гбнт/с 11,2 Manchester MLT-3 и 4В/5В NRZI и 4В/5В NRZIH Вид 8В/10В кодирования (для ТХ); 8В/6Т (для Т4) РАМ5 NR2I и 64/66В РАМ16 Топология Topology STAR STAR STAR STAR STAR STAR STAR Среда передачи Media Витая пара UTP,STP Две пары UTP Оптоволокно ММ (мульти-мод) 62,5/125 мкм 50/125 мкм Оптоволокно- UTP ММ и SM Четыре (сингл-мод) пары 62.5/125 и 50/125 Мкм, 9/125 мкм Формат кадра Frame format Метод доступа Скорость передачи двоичных символов Symbol rate** 20 Мбит/с Две пары или четыре пары Гбнт/с Оптоволокно – FUTP,STP,SFTP мульти-мод и Четыре пары сингл-мод 62.5/125 и 50/125 мкм, 9/125 мкм • Скорость передачи полезной информации •• Фактическая скорость передачи сигнала в сети (бодовая скорость, тактовая частота) Группировка сигнала 4 бита в 5 бит, для того, чтобы передавать часы. Если оптоволокно – NRZI. Если витая пара – MLT3. Среда передачи: Если это 100BASE-FX – волокно, 100BASE-TX- витая пара, 100BASE-T4 – старая (низкокатегорийная) витая пара. По стандарту IEEE это только multi-mode. ( хотя делают на single-mode тоже). Витая пара пятой категории. Кодирование MLT3. Все Ethernet имею один формат фрейма (MAC фрейма). Это требуется для того, чтобы контролировать передачу и скорость. А вот формат фрейма для технологии, которые обозначают метод доступа в канал будут отличаться. 802.3 – 1 формат, 802.5 – другой формат Мы рассматриваем только тот формат фрейма, который делается контроллером ethernet. Их существует 5 штук. Сначала идет преамбула, затем разделитель, затем Destination address, потом Source address, после чего идет длинна поля данных (от 46 до 1500 байт), после этого MAC CRC. Сами данные. Это формат фрейма 802.3 Есть стандарт фрейма Ethernet-II (для MAC адреса) предполагает, что вместо длинны мы передаем тип. И мы будем писать какой тип протокола обрабатывает этот фрейм. Если протокол IP, то там 0800, если ERP, 0806. Один и тот же адаптер и один и тот же драйвер может работать с кучей типов Ethernet. Всего размер фрейма 1518-1522, но минимально значение не 46, а 64 байта. Это связано с тем, что производители обнаружили, что они не успевают в противном случае обнаружить коллизию. Если данные не превышают 64 байта, то заполняются ноликами. Ethernet -802.3 еще 1 формат Ethernet'а, используется в Novell NetWare, там первые 2 байта забиваются специальными символами. Ethernet_snap. Он предназначен для того, чтобы работать с TCP/IP длинна не 1518, а 1522. Т.к. добавляются специальные байты, которые забиты символом АА, это сделано для того, чтобы понять, что протокол который дальше будет использовать этот фрейм это TCP/IP. Ethernet -802.2 для старых версиях новела. Формат IEEE 802.3 Преамбула SFD 7 Байт 1 Байт Destination Address 6 Байт Source Address 6 байт Length Длина 2 Байта 802.2 заголовок и данные 46-1500 Байт FCS 4 Байта Формат Ethernet-II Преамбула 8 Destination Source Type Тип 2 Байта 802.2 FCS Байт Address 6 Address заголовок и данные 4 Байта Байт 6 байт 46-1500 Байт Поле преамбулы состоит из семи байтов (IEEE 802.3). Каждый байт преамбулы содержит одну и ту же последовательность битов - 10101010. Преамбула используется для того, чтобы дать время и возможность принимающим сетевым устройствам синхронизировать свои тактовые генераторы (часы) с принимаемыми тактовыми сигналами. Начальный ограничитель кадра SFD состоит из одного байта с набором битов 10101011. Появление этой комбинации является указанием на начало фрейма. Адрес получателя (Destination Address, DA) - указывает физический адрес станции (МАСадрес получателя, адрес ноды (node), для которой предназначен фрейм). Обычно имеет длину 6 байт. Это может быть одна станция (адрес индивидуальный - unicast), несколько станций (multicast) и множество станций (широковещательный адрес- broadcast). Адрес отправителя (Source Address, SA) - 6 -байтовое поле, содержащее МАС-адрес станцииотправителя. Физические адреса станций в сетях ведутся IEEE. В первых трех байтах адреса содержится код производителя, определяемый IEEE. В остальных трех байтах – адрес устройства (прошит на адаптере или содержится во флэш-памяти), который задает производитель оборудования. Поле типа кадра (Туре) или длины кадра (Length) имеет длину 2 байта. Для кадра IEEE 802.3 в этом поле содержится выраженный в байтах размер поля данных. Если это число приводит к общей длине кадра меньшей, чем 64 байта, то к полю данных добавляется поле Pad. Для протокола более высокого уровня не возникает путаницы с определением типа кадра, так как для кадра IEEE 802.3 значение этого поля не может быть больше 1500 (0x05DC). Поэтому в одной сети могут свободно сосуществовать оба формата кадров, более того один сетевой адаптер может взаимодействовать с обоими типами посредством стека протоколов. 100 Мбит’ный Ethernet работает либо на витой паре, либо на оптоволокне, либо на старых кабельных системах. Поскольку разные среды передачи, то IEEE умудрился добавить дополнительные уровни, начиная со 100 Мбит’ного Ethernet, которые исполняют контроллеры. Функции, которые будут выполняться чипами адаптера и договариваются о скорости, на которой будем работать, а так же согласовываем кодирование. Между МАС контроллером и чипами организовали специальный интерфейс, это 50-пиновая шина и по этому кабелю по 4-м прием по 4-м передача. Имеются регистр контроля статуса и регистр контроля состояния. Они нужны для управления. Сама передача между контроллером и чипами будет начинаться контроллером. И они же будут кодировать. Регистры. В регистрах контроля записывается информация о скорости передачи и о том какую передачу делаем (дуплекс или полудуплекс). В регистре статуса – что происходит с портом. Порт может работать в различных модах. И может быть как активным, так и пассивным (работать и не работать). Нам надо каким-то образом договориться о скорости и непрерывности передачи. Передача в LLC есть всегда, все время идут какие-то импульсы. Если это 100 Мбит’ный Ethernet, то он дает «Взрывные импульсы», которые говорят, что работает на 100 Мбитах. Если 10-ти, то взрывных импульсов нет. Если импульсов нет – значит и нет связи. На старых кабельных системах контроля передачи нету, во всех остальных случаях он есть. Авто переговоры присутствуют только на витых парах. Функция для волоконных систем нету. Коммутатор может по одному порту принимать и передавать, если это так – это полнодуплексный режим. Виды коммутаторов и их характеристики: Характеристики коммутаторов Цена Скорость (определяется поддерживаемым протоколом) Количество МАС-адресов на порт Тип коммутации Ethernet Надежность Управляемость Backbone (магистральный уровень) Высокая Workgroup (уровень распределения) Standby (уровень доступа) Средняя Низкая 100/1 000/10GBASE, ATM, FDD1 100/1 000 10/100 1 024 и более 512 1 STA, full duplex, full bridging IP Дублирование портов, источников питания, вентиляторов Модульный (набирается адаптерами) SNMP, RMON, Несанкционированный VLAN доступ STA, bridging Bridging Дублирование источников питания Стэкируемый (Stackable) (набирается блоками) SNMP, RMON, Нет VLAN VLAN Коробка - Этой всей системой нужно управлять при помощи специальных протоколов. Они называются VLAN 802.1 – защита от несанкционированного доступа. Коммутаторы должны поддерживать виртуальные сети VLAN. И все операционные системы поддерживают эти протоколы. Разбиваем всех пользователей на виртуальные сети. Протокол 802.1U. Можем разбивать по протоколам или MAC адресам. 802.1x – мы контролируем порт коммутатора и говорим, что к порту могут подключаться только такие мак адреса или такой диапазон IP. Это протоколы контроля порта. Все магистральные поддерживают специальный протокол управления SNMP – Самый старый, самый неудачный. Ведется специальная база данных по статистикам портах, параметры коммутатора и мы можем с другого компьютера задавать эти параметры или смотреть что получилось. Лекция 12. Снова об Ethernet. Поскольку это основная технология 99% сетей сделано именно по ней. То она в какой-то степени диктует стандарты построения архитектуры информационных систем. После 100BASE был сделан 1000BASE стандарт (гигабитный) Стандарт CSMA/CD сетей. Топология Звезда и только звезда! Пути передачи оптоволокно (multi-mode или single-mode) или витая пара 6-й категории (не сертифицирована EIA/TIA). Технология гигабитного Ethernet была сделана на основе fibre channel. Это означает, что были использованы его методы кодирования и чипы. В гигабитном Ethernet различают несколько видов, которые отличаются уровнями phy. Сюда же добавлен reconciliation (согласование) и negotiation - договоренность об одной скорости. Согласование скорости работает только для меди. 1000Base SX определяется использованием светодиодов с допустимой длиной волны в 850 нм и 1300 нм для передачи сигнала по многомодовому оптоволокну 62,5/125 или 50/125 мкм. В зависимости от характеристик оптоволокна ограничение по расстоянию будет до 500 м. 1000Base LX определяется использованием лазеров с допустимой длиной волны в пределах диапазона 1270-1355 нм. Передача сигнала осуществляется по одномодовому оптоволокну 9/125 мкм. Ограничение по расстоянию - 5км. 1000Base СХ определяется использованием специальной экранированной витой пары с DB-9 разъемом (не такая, как разработанная IBM экранированная витая пара Type I или Type II). Максимальное расстояние 25м. Используется сейчас крайне редко в системах централизованного хранения данных. И поэтому мы не будем подробно описывать стандарт 1000Base СХ На оптоволокне кодирование всегда NRZI. А соответствующая группировка – 8 бит в 10 бит. => Слово 10 бит. Слово – что я адресую, что я передаю. Память компьютера – массив строк. Дисковая память – массив блоков. Скорость передачи 1,25 Гбит. Скорость передачи fibre channel 1Гб. Если витая пара, то мы будем использовать все 4 пары, поэтому тестирование требуется все 4 пары. Категория 5е и выше. Будем проверять дополнительные параметры, А кодировать при помощи PAM5. По сравнению со 100 Мбит’ном Ethernet’e нет никаких революционных изменений. Однако мы должны обратить внимание, что адаптеры ( GBIC’и), которые сделал CISCO они их называют LH. Эти адаптеры позволяют нарушить стандарт гигабитного Ethernet‘а и передавать на расстояние не 5 километров, а 10. IEEE его не приняло. Далее решили увеличивать скорости, это позволит убрать множество проблем при создании вычислительной техники. И решили, что можно при этих технологиях получить технологию, которая позволяет работать и на локальных расстояниях и на WAN’овских. И на расстоянии городских MAN’овских. Если очень постараться, то можно использовать Ethernet для создания вычислительных комплексов (нам не требуются никакие дополнительные шины). Дешевая эффективная с точки зрения скорости и управления и есть возможность эту скорость наращивать. Поэтому создали 10GBASE Ethernet. Стандарт 10 Гбитного Ethernet’а был реализован в 2002-м. Сделан в двух вариантах 802.3АE – витая пара, 802.3AN – оптоволокно. Метод доступа в канал всегда CSMA/CD. Контроль на уровне LLC соединения и контроль скорости тоже одинаков. MAC фрейм одинаков. Он отличается физическим уровнем реализации (Phy). В стандартах Ethernet для оптоволокна реализовали топологии для man’а и wan’а (глобальные сети). Сделали 2 варианта Phy, а именно LAN Phy и WAN Phy. Радиус 40 км (диаметр 80). Это позволяет реализовать сеть по городу. Но, в масштабах города необходимо управление, поэтому: Добавили QoS Quality of Service – это способы гарантирования скорости. Добавили CoS Class of service – тут изменяется класс. Добавили специальные способы кеширования. Добавили средства защиты от несанкционированного доступа и т.д. Придумали следующие: когда мы пытаемся сделать новую сеть (ее назвали LAN), я могу ее всю построить заново и тогда моей топологией может быть звезда. И в этом случае получаем LAN’овское решение LAN Phy. Если сеть уже существует, то должны каким-то образом новое соединить с тем, что есть и придумали LAN с мультиплексированием и топологией стала кольцо-звезда. Новое мультиплексирование DWDM. Мультиплексоры, которые передают ра разных видах волн. Требуется специальный коммутатор, который передает на нескольких типах волн и это все назвали LAN Phy. Lan PT – без мультиплексирования. LAN Phy - ( с мультиплексированием) придумали, для того, чтобы совместить со старым оборудованием (топология звезда-кольцо). Если сеть абсолютно старая, то требуются специальные протоколы SDH, SONET. SDH и SONET – протоколы для передачи цифрового сигнала по оптоволокну с целью передать голос. Для того, чтобы к ним присоединиться мы должны вставить фрейм Ethernet во фрейм сонета. И для этого разработали специальную версию WAN phy, которые умеют совместить скорости Ethernet’а со скоростями sonnetа и более того, совместить управление и кодирование. SONET – первый протокол передачи по оптоволокну. Минимальная скорость 51.8 Мбит/с– называется первая несущая. Максимум 192 несущих. Максимальная скорость 9.5 гигабит/сек. Она почти совпадает со скоростью Ethernet'a. Для того, чтобы их совместить сделали специальную версию, у нее скорость чуть меньше 9.5 гигабит. Топология Изменилась, она теперь не звезда, а звезда-кольцо. Как только мы делаем топологию в рамках городской или WAN’овской системы мы получаем звезда-кольцо. Кодирование всегда NRZI. Скорость 10 Гбит, если вариант LAN’овский, то 64 в 66 без мультиплексирования, если с мультиплексированием – 8 бит в 10 бит. Если WAN’овский, 64 в 66 то скорость 9.5 Гбит/сек. Интерфейс изменился. Увеличился размер шинки между контроллером и чипами. Шина 72 бита и он называется XGM II. Если вариант LAN’овский, то три варианта: 1. Extended range – 40 километров. Single-mode. 1550 2. Long range – 10 километров. Single-mode. 1310. 3. Short range – 300 метров. Скорость 10.3 Гбит если это чисто WAN’овский вариант. Если вариант мультиплексированием, такой Ethernet называют LX-4, то он 10 км, а скорость 12.5 Гбит. с Все способы управления, которые были и остались. Как только добились такого результата решили, что Ethernet это не технология, это идеология соединения устройств вообще. В 2006-м году создали специальный комитет HSE – High Speed Ethernet. Мы можем получить еще большие скорости, а именно 40 Гбит и 100 Гбит. Это скорости видео. Минимальная скорость 345 Мбит/с для видео (без сжатия). И разработчики сказали, что мы можем их получить, если будем действовать по разным средам, если будем делать объединенную шину внутри компьютера или нескольких компьютеров. Реализация WAN’овская получилась дорогой. Поэтому Придумали следующее: современная микросхемная база позволяет получить не 10 Гбит, а 40, то используем 4 потока, для 100 – 10 потоков. Только требуется получить специальный переходник. А на сетевом адаптере мы разбираемся с этими 10 потоками и получаем одни. Такие потоки называют line. Они могут быть 10 или 25 Гбит’ные. Вместе с ITU придумали другую технологию WAN’овских сетей. Это технология называется OTN – Optical transport network. Это стандарт на современные транспортные сети. В этом стандарте есть 4 вида скоростей для различных подсистем. 2.5, 10, 40, 100 Гбит. Соответственно Ethernet должен работать на этих скоростях. И end user видит один Ethernet. 802.3 BA – 40, 100 Гбит’ный Ethernet. Стандарт создан в 2010. В 2011 вышел draft, в 2012 он был утвержден и другого стандарта теперь нету. Это стандарт на современный Ethernet. IEEE его выложила не только в открытый доступ, но еще и в бесплатный. Есть 8 видов Ethernet 40-100. 40GBASE-KR4 – 40 Гбит. 4 потока. Расстояние 1м. Это объединенная медная пара. 40GBASE-CR4 - 40 Гбит. 4 потока, расстояние 7 метров. Это медная витая пара. 40GBASE-SR4 - 40 Гбит. 4 потока, расстояние 150 метров. Multi-mode 850 нм. 40GBASE-LR4 – 40 Гигабит 10 км. С мультиплексированием WDM. Длинна волны 1310 (Singlemode) 100 Гбит’ный Ethernet не используется для объединенной шины, имеет 4 стандарта 100GBASE-CR10 – медная витая пара. 10 line. 7 метров. Медная витая пара 100GBASE-SR10– 10 line. 150 метров. Multi-mode 850 нм. 100GBASE-LR4 –Есть мультиплексирование 100 Гбит. 4 длинны волокна. 10 км. 1310 нм 100GBASE- ER4 – WDM 40 км Single-mode 1550 нм. Поскольку есть медные реализации, то есть и дополнительные подуровни. Доп подуровни есть только на меди, они договариваются о скоростях. An – переговоры. FEC – позволяет корректировать шибки. Само кодирование NRZI. Слово 66 бит. Потоки могут прийти на наше pmd c разным временем, их требуется синхронизировать. Для этого микросхемы pmd занимаются синхронизированием этих LIN’ов. Через каждые 65000 бит идет специальная комбинация битов, которая говорит, что в этом месте требуется синхронизировать потоки. Если прошли не по всем LIN’ом – добавим нолики и единички по line. Это специальные 66 битные блоки, которые называют маркерами, и которые этот сдвиг компенсируют. Объединенная шина имеет длину метр. У нас есть специальные blade. Их запихивают в объединенную шину. У них есть процессор и память. А все остальное они получают при необходимости через шину. Так устроены серверы. Это технология создания суперкомпьютера. Есть технология Infiniband – гигабитный Ethernet. C точки зрения Бобби Меткалфа абсолютно нет никакой технической проблемы до 2015-го года иметь терабитную скорость. Для этого готовы оптоволоконные системы, готовы лазеры и получить это вполне реально. А 400 Гбит можно получить уже сегодня. Лекция 13. Архитектура сетей хранения данных. Ethernet — это не технология, это идеология. Еще одной такой идеологией являются сеть хранения данных. Все системы организованы при помощи ЦОДов и сетей хранения данных, и если мы не будем понимать как это работает, то современную информационную систему мы не сделаем. У компьютера есть HBA – Host Bus Adapter будет подключен шиной к диску, а контроллер будет находиться на диске. Это было начиная с дисков IDE. Операционная система всегда дает команды host bus адаптеру. Адаптер контроллеру, контроллер записывает на диск. Контроллер cам по себе может содержать процессоры, кеш и массу всего другого. Операционная Система, впрочем не работает с процессором контроллера, она работает только со своим процессором. Когда появились такие дисковые подсистемы возникла идея SCSI – Small Computer System Interface (скази), это 50-пиновая шина (50 разъемов). SCSI интерфейс это система команд, он прижился потому, что мы не даем определенный синтаксис на команду, мы не говорим как делать. Мы говорим что делать. (Пример: Начни писать, Начни что-то, Поставь метку такую то и т.д.). Эти команды одинаковые для всех производителей, а вот их исполнение у каждого производителя свое. За счёт этого SCSI системы легко расширяемые. Вот так можно прицепить до 127-ми дисков. Как только SCSI возник – появилась возможность иметь очень большие объемы, это называется канал ввода вывода, таких каналов так же может быть не один. Это делает операционная система, в частности Windows имеет две системы ввода-вывода, 2 host bus адаптера. (2х127). Эта идея впервые посетила IBM и она сказала, что мы можем иметь множество всего, колоссальные объемы, но куда это все засунуть? Такой дисковый объем невозможно запихнуть ни в один компьютер. Это внешний кабинет, который можно иметь на каком-то расстоянии от процессора, но при удалении его от компьютера мы получаем наводки на шину. (т.к. провода медные). IBM поэтому сказал, что это никуда не годится и предложил подключать все это по оптике. Благодаря этому мы можем утащить наш кабинет без риска на значительно более большое расстояние + лишаемся проблем наводок. А так как на оптоволокне стали получать достаточно высокие скорости я могу получить не скорость 600 Мбит/сек, а скорость, которая получается по оптоволокну. Тем самым мы можем заменить кази на что-то другое. SATA, IDE, MFM, SDI – это интерфейсы предназначены для небольших дисковых подсистем, для персональных компьютеров. Их мы не рассматриваем, т.к. они не предназначены для корпоративной работы. Поэтому IBM сделала ESCON - Enterprise Systems Connection. Это специальные интерфейсы физического которые позволяют передавать по оптоволоконной шине с дисковой подсистемы. Первые ESCON'ы сделал AMP. Устройства которые передавали по этой шине через ESCON’ы назывались Director (грубо говоря он используется вместо host bus адаптера). Далее IBM сказал, что необходим протокол передачи по этой шине, требуется спецификация, как формировать фрейм. У нас сплошная сетевая технология. Мы постоянно передаем друг другу какие то фреймы, которые требуется сформировать в приемлемый вид. Для передачи по меди – одно кодирование, для оптоволокна другое. Т.к. нолики и единицы не годятся для того, кто передает лазером и т.д. Тот протокол, который они начали использовать называется Fibre Channel (способен работать как по оптоволокну, так и по меди) сейчас сертифицирован ANSI — сейчас является основным протоколом для сетей хранения данных. Существует масса его версий. Что же такое сети хранения данных? Мы заменили медь на оптоволокно, мы придумали другой протокол. Операционная система передает все так же как для SCSI, затем адаптер превращает это все в понятное FC. А на контроллере диска мы снова получаем из FC в SCSI. Таким образом нам не надо переделывать все, а всего лишь 2 контроллера. И получаем мощные системы хранения. Мы должны сделать так, чтобы к дискам обращались не только файл сервер 1, но и 2 и … n, т.к. Мощности одного сервера явно не хватит. И все это требуется сделать при помощи сетевых технологий, т.к. эти серверы будут удалены и тогда мы добьёмся возможности работать с очень большими объемами. Для того, чтобы сделать это требуется протокол FC. Почему? Во-первых FC позволяет работать на различных топологиях, во вторых в нем было сделано удачное кодирование (которое потом использовалось в гигабите - NRZI. У гигабита скорость чуть выше чем у FC. Но на тот момент, когда это делалось выше гигабита не было.). Далее можно так же подцепить кучу устройств (основным разработчиком для этого является Brocade). Можно пристроить до 6 тысяч устройств, которыми можно управлять. Управляются серверы, подключенные к системам хранения несколькими вариантами: 1. Можно сделать топологию P-to-P (Point-to-Point). 2. Можно сделать топологию, которую называют «арбитражная петля» Arbitrated Loop. Это означает, что по центру композиции есть hub (устройство, которе просто усиливает и больше ничего). Есть сервер (процессор и память), который шлет некий запрос hub'у. Пример (сервер пошлет запрос на hub, hub пошлет запрос на какой то ленточный массив, а оттуда мы пишем на дисковый массив, те вернут ответ, в итоге петля. Поэтому физическая топология – звезда, а логическая – петля с арбитражем. 3. Можно сделать фабрику (совокупность коммутаторов). Вот есть какой то сервер, который в свою очередь передает запрос на switch, тот на другой, более хороший, switch тот на другой, пока в конце концов нас не переключат на какой то storage. VCS Ethernet fabric with VDX 6710, VDX 6720 and 6730 Switches Протокол FC, разработанный и утвержденный ANSI позволяет работать в любом варианте: Вариант сегодняшнего дня — фабрика коммутаторов (fabric). Протокол FC позволит нам не просто соединять устройства, а соединять так, что он позволит нам передавать то, что мы хотим, в другие протоколы. Пример: OS/application→ SCSI → FCP, (iSCSI) → FC, (TCP/IP) → (Ethernet). Идея очень простая: сначала SCSI. Затем host bus адаптер будет это превращать в нужный протокол и дальше. С Ethernet’ом ситуация специфическая, которая подразумевает коллизии, поэтому мы никогда не можем гарантировать запись на диск. Поэтому Основным протоколом является протокол FC без всякого Ethernet’а. Хотя попытки и есть использовать Ethernet, но без гарантии записи в любой серьезной структуре они обречены на провал. Получилась еще одна необходимость: мы должны писать на ленту со скоростью не гигабит, а 10 гбит/с. Иначе это будет чрезвычайно быстро ломаться. Хоть над этим и долго бились, но на текущий момент такие скорости достигнуты. Сейчас идут разговоры про 16 гбит/сек. Каждый процесс теперь запускается на отдельном сервере и каждый такой сервер это blade, потому что у него нет дисковой подсистемы, нет сетевой нет вентиляторов. Нет блоков питания, а есть только процессор и память. И такие блейды устанавливается на специальную шину. Если гбит, то CX4, а если 40 CR4. Модель это функции, которые кто-то должен выполнить. ВО всех информационных системах всегда модель FCAPS - (F) (Fault Management / Управление отказами, Configuration Management / Управление конфигурацией, Accounting Management / Учёт, (P) Performance Management / Управление производительностью, (S) Security Management / Управление безопасностью), помимо тех функций которые должна выполнять операционная система. Когда сетевая система, там тоже должны быть выполнены функции по связи устройств, и это не функции модели OSI и IEEE. У fiber channel 5 уровней, они называются: FC-0 физический уровень модели OSI, PM & PND IEEE. FC-1 кодирование 8 бит в 10 бит или 64 в 66, (фактически уровень PCS IEEE.) FC-2 В том случае, если используем фабрику коммутаторов, то присвоение адресов, присвоение классов сервиса и некий Flow Control. FC-3 если это петля с арбитражем, то мы объясняем какие наименования сервера, как мы делаем синхронизацию и т.д., если коммутируемая свитч-фабрика, то мы объясняем какие дополнительные сервисы мы будем делать. FC-4 вообще не сетевой и не соответствует ничему. Потому что нам необходимо определить функции передачи в FC других протоколов, в частности SCSI или протоколов, предназначенных для работы со стримами (для мультимедийных систем). Или для передачи все из TCP/IP. Далее придумали названия устройств коммутации: Придумали, что устройство, которое просто осуществляет коммутацию будут называться свитчами. Их совокупность – фабрикой свитчей. Если есть свитч, который осуществляет большую функцию чем обычный коммутатор, то мы его назовем директором. Если есть свитч, который добавляет к этому коммутатору некоторые функции производительности (защита от несанкционированного доступа и т.д.), то это Backbone. Если есть свитч, который занимается вопросами криптографии, то он называется Encryption Switch. Если есть необходимость связать с несколькими системами хранения данных, то такой коммутатор называется роутером, хотя на самом деле он коммутатор. Если мы захотим связать такую сеть хранения данных с другими устройствами, поддерживающими другие протоколы, то называем FC gateway (шлюз). Каждый элемент в фабрике свитчей будет иметь свое имя. Каждое устройство, которое порождает информацию — source, принимают — target. Они подключается друг к другу при помощи портов. Технология этих портов имеет определенные названия. Когда устройства начинают присоединяться у них еще нет наименования портов. Blade соединен со свитчем при помощи n порта. У switch’а такой порт называется phy порт. Switch соединяется с другим switch при помощи e порта. А Связь эта называется ISL. Switch может соединяться специальным портом ex с другим switch, который в свою очередь может соединяться специально e портом с другой фабрикой switch’ей. И когда это все начинает работать операционные системы сами устанавливают названия портов и названия линков, то что возникает между свитчами называют trunk'ами. Все реализовано хардвеерно, даже trunk’и. Это объединение нескольких линков в один линк. Для того чтобы именовать не только свитчи но и все остальные устройства придумали специальные хардвеерные адреса, которые называются WWN, аналог MAC- адреса. У каждого сервера блейда есть адаптер, с номером WWN и номером порта на этом адаптере. И это прошито производителем. Чтобы подключать новые устройства придумали новый протокол RSCN – Registered State Change Notification. Он необходим чтобы оповещать устройства, например о добавлении нового Blade, который имеет свои WWN и у нас изменилось состояние портов и их нотификация, подтверждение. Как только новый порт подключается к фабрике коммутатор издает специальный фрейм, он называется broadcast (фрейм для всех). И сообщает о том, что у него появился новый порт и какой. При этом все разбито на специальные зоны, и сообщать broadcast мы можем по зоне, то есть для тех, кого это интересует. Основная проблема: как мы контролируем соединение и как скорость. Наша задача: обязательно записать на диск, поэтому этот контроль делать так как это делалось в Ethernet нельзя. Метод доступа так же делать тоже не получается. В Fiber channel придумана специальная система кредитов BBcredit (на сегодняшний день так работают все серьезные коммутаторы): я никогда не должен получить отказ, то есть если oversubscribing (переподписка коммутатора) то его быть не должно! Если она все же есть, то это не коммутатор. Для того чтобы это сделать мы шлем какой то фрейм, мы не думаем ничего о подтверждениях, а используем буферный кредит, который говорит о том, что нам потребуется память и устройство должно мне ответить и сказать, что эта память или доступна или я могу отправить сразу. И никакая пересылка без возможности свободного буфера не происходит вообще. Всегда есть гарантия того, что данные попадут на диск. Мы должны вести расчет буферов, и он ведется операционной системой коммутатора и давать кредит, кредит есть – пересылаем данные, нет кредита – не пересылаем, нет ресурса. Буфер считается в кбайт/км. Потому что фрейм за определенное время проходит несколько бит (в них меряется время). Поэтому размер буфера рассчитывается согласно скорости прохождения по оптоволокну, учитывая, что это 10 гБит. Если коммутатор имеет двух гигабитную шину, то это 2 Кбит/км размер буфера. У каждого порта коммутатора свои буферы. Поэтому подтверждения доставки не требуется. Скользящие окна не требуется. У нас всегда есть гарантия того, что данные попадут на диск а вот то что записалось это делается при помощи специальных средств, которые называются mess storage. У нас получилось куча данных и возникла проблема их безопасности. Но об этом в следующей теме. В составе таких систем хранения всегда есть средства криптографии (Encription Switch), который возвращает запрос обратно свитчу и он уже пишет в зашифрованном виде на массив дисков. Encription Switch – это хардвеерная криптография которая предусматривает запись от конкретного source. Это некая виртуализация устройств, которая позволяет не заботиться о том, что все это хранится в достаточно защищенном виде. На расшифровку должно быть потрачено 100 лет. Для того, чтобы не лезть в чужие массивы данных мы разобьём все на зоны, а запись того кто какой зоне принадлежит мы будем делать тоже на хардвеерном уровне. На портах есть специальные микросхемы, которые называются ASIC (автор Brocade). В которые Можно записать те WWN с которыми мы работаем и при подключения какого либо устройства включать этот WWN в зону и опять делать это на хардвеерном уровне. Нам Не требуется переконфигурации системы, а делается в автоматическом режиме. Так же это служит защитой от несанкционированного доступа. Так же придумали протоколы маршрутизации, которые связаны с тем, что мы должны понимать от какого директора к какому switch’у мы должны пробраться. Они называются FSPF. Они поддерживаются операционными системами коммутаторов. Они вычисляют маршрут и метрики маршрута (решать как быстрее добраться). Все эти возможности привели к определенным требованиям. К тому, что мы должны сделать топологии, которые позволят работать очень надежно, а во вторых осуществлять связывание фабрик между собой, по удаленному доступу. А также связывания центров между собой. Топология для сетей хранения данных не всегда звезда. Первая топология dual fabric (Каждый сервер имеет доступ к той и другой фабрике и эти фабрики коммутаторов могут работать с одним массивом. При этом серверы делят свои операции ввода/вывода между фабриками). Мы получаем производительность, надежность и т.д. Топология core edge (ядро переферии) – последняя топология, на которой остановились (для высокой надежности записи). Все серверы связаны с фабрикой коммутаторов, которую называют периферийной (h Коммутаторы). Они в свою очередь соединены с другой фабрикой коммутаторов, которая называется CORE. А эта фабрика Switch’ей присоединяется к ленточным массивам, к дисковым массивам. То есть двойные фабрики Switch’ей, сделано для надежности. Все дублируется. Лучший способ надежности системы – дублирование элементов. Есть другие топологии на основе core edge. На основе того что сделано получили Meta SAN, это означает, что мы получили кучу серверов, которые работают с системой хранения А, еще кучку, которая работает с системой хранения Б, в середине они связаны между собой специальный Backbone, который умеет маршрутизировать. Backbone router и все вместе присоединяется к Sun C, которая имеет какие-то дисковые и ленточные массивы и мы можем писать на очень больших расстояниях. Проложено достаточно много оптоволокна, то которое не используется называется темные волокна. В этом случае можно связать темные волокна с помощью специальных устройств, чтобы передавать данные на гигантские расстояния. Протоколом будет не Fiber Channel, а все тот же Ethernet над которым будет работать tcp/ip. Получится extended sun. Так соединяются датацентры. Получили в итоге другую структуру, а для того, чтобы ее поддерживать получили необходимость ставить такие системы в специальных зданиях, которые называются ЦОДы. Эта система хранения – центр ЦОДа. Это все требует очень качественного питания. Любой сбой приведет к развалу дисковых подсистем. Нет ни одного способа, который позволил бы избежать разрушения данных при сбоях в питании. Поэтому единственный способ – держать питание. Из-за этого мощность ЦОДа меряется не в терабитах, а в мегаваттах. Есть статистика. И по статистики IBM каждый компьютер испытывает до 120 сбоев питания в месяц. В наших сетях 87% имеют пониженное питание из-за перегрузки, неправильного регулирования, а это означает, что UPS не заряжен и в нужный момент мы ничего не сможем сделать. Разрушение данных – это разрушение ссылок на эти данные. Только 0,7 это повышенное напряжение. 8% это высоковольтные импульсы, к ним приводят атмосферные явления. + проблемы с включением, отключением мощных потребителей. Поэтому питание нужно стабилизировать. Оно ставится на здание или на комплекс, на котором работает компьютерная техника. Около 5% - полное отключение питания. Для этого делают питание по первой категории. (запитываются от двух подстанций). Всевозможные проблемы с искажением гармоник (из-за нелинейных потребителей). Будут установлены специальные ИБП, которые позволят операционной системе, через специальный адаптер включить или он будет работать всегда. Оно поддерживает на тот момент, который дан, чтобы правильно завершить работу. Если питание пропало или сгорело или исказилось, то мне это не поможет. Нужно включить генератор. Эти ИПС будут иметь специальный адаптер, и перед тем как окончательно выключатся запустят мотор генератора, который должен запуститься за определенное время. От этого зависит категория надежности ЦОДа. Все Это Компьютерно управляемо. Поэтому Там стоит специальный сервер блейд, который будет контролировать и управлять системой питания. ПУЭ — правила устройства электроустановок. Если мы ее не знаем, и не понимаем как должна быть сделана проводка, то программировать мы не умеем. Компьютерная проводка должна быть выделенной. В нее должна включаться только вычислительная техника. И она должна подключаться к специальному контуру заземления. Лекция 14. Безопасность информационной системы. В модели FCAPS безопасность стоит на последнем месте. Эта проблема сильно преувеличена, это не та проблема, о которой заботятся, основная проблема – производительность. Проблема безопасности неправильно переводится, т.к. в англ. Языке есть 2 слова protection и security, которые путают. Protection –защита от несанкционированного доступа, это внутренняя часть системы, это решается средствами самой операционной системы. А Security – внешняя проблема, дополнительная задача (Пример: Я не могу гарантировать, что мой офисный стол не вскроют и не полезут считывать пароли из моих записных книжек, я не могу гарантировать, что не подкупят админа данных и он не передаст все данных.) Это проблема служб безопасности, а не наша с вами, поэтому мы не будем на ней детально останавливаться. От нее защищаются с помощью правильного строительства: экранирующие сетки в стенах, кабельная система в металлических коробах и т.д. Проблема в том, что эти вещи путают. Protection – контроль доступа путем авторизации. Средства авторизации есть в составе всех частей операционной системы. Производится контроль доступа к ресурсам системы и прежде всего к файловой системе. Когда мы делаем доступ к файловой системы, то операционная система проводит авторизацию, это делает сервер ААА - Авторизация, Аутентификация, Аудит. Авторизация – имя пользователя Аутентификация - пароль. Аудит – проверка какие ресурсы доступны, в какое время, в каком объеме и разрешены ли эти ресурсы вам. Операционная система, которая работает на всех устройствах контролирует ресурсы, передавая их каждому процессу согласно матрице доступа, и делает так. Что каждый процесс может осуществлять доступ к тем ресурсам, которые ему разрешены в эту единицу времени при это операционные системы пишутся так, что весь контроль доступа сделан на низком уровне и обращение к этим вещам это всегда системный вызов – system call. Для того, чтобы такой вызов осуществить требуется привилегия, а пользователи при этом имеют роли. Защита файловой системы делается при помощи атрибутов (Hidden, system и т.д.). Файл – данные + атрибуты. И когда мы обращаемся к файлу мы имеем определенные атрибуты. Делается это при помощи системных вызовов и существует несколько способов организации этих атрибутов. Либо заданием пароля на файл, либо при помощи специального списка доступа, который называется acl – access control list. ACL ведут все операционные системы в частности системы роутеров и коммутаторов. Бывают также продвинутые средства, например виртуальные машины. Это пошло от IBM VM/SP. Security – проблема внешняя, однако мы должны и средствами информационной системы защищаться, какими-то дополнительными средствами. При этом возникают 2 типа угроз: 1. Преднамеренная угроза. Всегда связана с отдельными пользователями или прикладными программистами. Мы можем использовать права доступа другого пользователя, Мы можем удалить данные, модифицировать программный продукт, раскодировать расшифрованные данные, создать электронные помехи, осуществить несанкционированный доступ к кабельной системе, консолям. (Именно поэтому консоли сервера располагаются в клозете, который заперт на ключ.) Если есть доступ к портам, то раскрытие информации — это вопрос времени, поэтому кабельную систему делают, например, за фальшь потолком, тогда доступ к ней представляет сложность, более того, сделать ее не в лотках, а в трубах. 2. Непреднамеренная угрозы. Это угрозы связаны со сбоями прикладных продуктов, системных продуктов, багами в драйверах, компиляторах (очень маловероятно), сбоями по питанию. Это недостаточный профессионализм тех служб, которые нашу систему поддерживают (это вторая проблема после питания). Разрушение кабельной системы и оборудования, пожары, все электротехнические и электростатические проблемы. Для этого требуется правильно делать электрику. Для решения проблем и protection и security существуют средства, это средства аппаратные (электронные замки и т.д.), программные средства (ААА, файрволы и т.д.). Файрволы всегда ставятся между тем, кому доверяешь и тем, кому не доверяешь. (Trust – not trust). Есть законодательные и моральные нормы. Есть законодательные нормативы, например я не смогу сдать узел оператора связи и получить лицензию на его работу, если я не обеспечил средства оперативно розыскных мероприятий (СОРМ). Средства СОРМа диктуют ФСБ, с ними всегда проблема, они дорогостоящие, но главное их сложно исправлять, если что-то новое, типа базовые станции операторов связи, то это легко (Маньякам и террористам на заметку: если хотите что-то делать глубоко секретное, то нельзя пользоваться мобильным телефоном., т.к. все прозрачно). Если же работаем с фиксированной связью и со старыми АТС там такие средства поставить крайне трудно, т.к. это электромеханические средства и их чрезвычайно трудно контролировать, поэтому обычно пишется письмо в ФСБ с обещанием поставить рекомендуемые средства СОРМа в течении года, а ФСБ пишут, что понимают, что у тебя денег нет и разрешают, Обещая через год вернуться к этому вопросу, затем зацикливаемся. Поэтому рекомендация: для конфиденциальности лучше использовать обычный телефон, т.к. обычно там они не стоят. Виды угроз безопасности, которые не относятся к строительно-партизанским угрозам: Прежде всего это различные виды атак, которые могут быть совершены: 1. Вирусы. Это опасность для рабочих станция, но не для сетевых, т.к. сетевых вирусов не бывает и быть не может. Вирус – программный код, который записывается в программный продукт и как-то его изменяет. Тот кто продает продукт обязан это отслеживать. Но когда продается коробочный продукт, как Windows, то коробку продали, а support’а нет. И что там дальше случилось Microsoft не волнует. Это вопрос маркетинга. Когда продаются сетевые вещи, например ERP, это всегда support, всегда отслеживание кода на изменение и там таких вещей не бывает. Это проблема защиты рабочих станций. Для обеспечения защиты можно, например, не давать выход в Ethernet на серьезных предприятиях, заблокировать порты USB и т.д. Все сетевые драйвы отключены, для того, чтобы пронести вирус придется сперва разобрать рабочую станцию, а для этого есть камеры наблюдения и иже с ними. Корпоративная сеть своя, внешняя – своя. Порт станции нету, пришел на работу – из сейфа ноутбук, ушел с работы – сдал. Хотя если приходит профессионал – это другой разговор и другая задача. Получишь доступ к консоли – далее элементарно. Но получить этот доступ очень сложно. 2. Троянский конь – перехватывает логин и другие данные. При аккуратной работе их быть не может. 3. Черви – неприятная атака. Червь – программный продукт, который сам себя порождает, он может даже официально продаваться и активизироваться в определенный момент. Это представляет для нас угрозу, так как абсолютно легальный программный продукт ее можно снизить если качественный администратор. Устроив кучу рекурсий можно забить весь трафик сети. А ведь все система (даже дисковая) у нас сетевая. Первый worm был сделал в 88-м году противным Робертом Морисом. 4. Port scanning – сканирование порта. Большинство сетевых протоколов и информационных систем работает по socket’ам. Это по специальным пойнтерам, которые указывают на адрес процесса. И порт tcp это адрес процесса, по которому этот процесс вызывается. Можно абсолютно легальными средствами просканировать протоколы и посмотреть какие серверы и какие средства с какими портами работают. Получив номера процессов запускаем легальные программные продукты, которые это порты опрашивают и дают им какие-то параметры, и забивают их. Если Такую атаку сделать распределенной, то систему ждет коллапс/ Есть средства на сайте insecure.org, с помощью которых мы можем попытаться обнаружить сканирование портов, но защититься от этого не можем, т.к. это легальные средства. Для борьбы с worm’сами и port scanning эти утилиты требуются использовать с картой, смотреть кто и где работает, есть и программные и аппаратные продукты, которые позволяют это делать. (мониторить) и далее это просто анализировать, другого варианта нет. 5. DoS - Denial of Service, делается абсолютно легальными способами. Это атака которая вызывает отказ в обслуживании, т.к. мы легальными средствами с разных точек сети начинают делать download. Сделать Его в цикле и все. Зная формат протокола TCP можно написать запросы которые не ждут подтверждений, они работают по определенному протоколу (протокол тройного рукопожатия). Мы можем начать какие-то переговоры и не ждать подтверждения и начинать, начинать, начинать… не открыв не одного подтверждения имеем кучу открытых соединения. А это конец сети. Это самая поганая атака. Есть специальные средства анализа их довольно большое количество (всевозможные анализаторы протоколов), например средства компаний Procera Networks, Solarwind, Fluke и т.д., есть хардвеерные средства. Анализ более чем по 1000 протоколов. Но по идее мы эти средства должны предусмотреть в противном случае мы эти атаки не отловим. С этой проблемой тесно связана проблема аутентификации. Пароли должны быть не просто заданы, а еще и закодированные encripted. Это кодирование пароля сделана во всех операционных системах и всегда по одному из двух алгоритмов либо симметричного ключа (кодирую и раскодирую одним и тем же ключам (печаль, т.к. тогда этот ключ знают все), он был сделан 100 лет назад). Основной алгоритм для кодирования был сделан компанией IBM он называется DES, он включен в состав практически всех операционных систем и всех программных продуктов. Все данные разбиваются на блоки. Есть 56-ти битный ключ, нолик становится единичкой и т.д.) Triple DES – современный стандарт, а в еще более современных системах AES – 128 бит. Сейчас практически весь DES заменен на AES. Алгоритм DES4 тоже включен в состав многих операционных систем, он используется на WEB серверах и WEB приложениях. Там специальный random ключ и с его помощью кодируется не блок, а весь поток. Это те стандарты, которые сейчас применяются. Пароли обычно кодируется des-ом в крайнем случае Triple DES’ом. Бывают также ассиметричные ключи, то есть кодирование и декодирование делается разными ключами, private key – продается вместе с продуктом (например браузером) и public key – выдается автором сервера. специальными сертифицирующими организациями. Стандарт x.500 регламентирует выполнение. Существует ряд специальных протоколов для работы в режиме удаленного доступа. Это серии достаточно старых протоколов. SSL – протоколы для распределенного доступа к частям информационной системы, например к web серверам. Они сертифицированы и реализованы в каких то программных продуктах. Для того чтобы внедрить свой протокол требуется за это биться, чтобы вендоры включили его в свои программные продукты или самому стать вендором. Когда браузер который продается вместе с паролем этот пароль сообщается серверу в виде специального random значения, которое вырабатывается браузером (28 байт). Сервер присылает свое значение и свой сертификат. По определенному алгоритму вычисляется значение (46 байт), которые называются premaster secret и одновременно сервер вырабатывает на основе premaster secret свое значение, которое называется master secret. И вот таким образом работает веб сервер с рабочей станцией. Операционные системы описаны с точки зрения безопасности в книжке. Которая называется Orange Book. Там есть классификация программных продуктов. Эту классификацию развело Department of Defense, но все производители операционных систем защищаются согласно этой классификации В критериях впервые введены четыре уровня доверия — D, C, B и A, которые подразделяются на классы. Классов безопасности всего шесть — C1, C2, B1, B2, B3, A1 (перечислены в порядке ужесточения требований). Уровень D Данный уровень предназначен для систем, признанных неудовлетворительными. Уровень C Иначе — произвольное управление доступом. Класс C1 Политика безопасности и уровень гарантированности для данного класса должны удовлетворять следующим важнейшим требованиям: 1. доверенная вычислительная база должна управлять доступом именованных пользователей к именованным объектам; 2. пользователи должны идентифицировать себя, причем аутентификационная информация должна быть защищена от несанкционированного доступа; 3. доверенная вычислительная база должна поддерживать область для собственного выполнения, защищенную от внешних воздействий; 4. должны быть в наличии аппаратные или программные средства, позволяющие периодически проверять корректность функционирования аппаратных и микропрограммных компонентов доверенной вычислительной базы; 5. защитные механизмы должны быть протестированы (нет способов обойти или разрушить средства защиты доверенной вычислительной базы); 6. должны быть описаны подход к безопасности и его применение при реализации доверенной вычислительной базы. Класс C2 В дополнение к C1: 1. права доступа должны гранулироваться с точностью до пользователя. Все объекты должны подвергаться контролю доступа. 2. при выделении хранимого объекта из пула ресурсов доверенной вычислительной базы необходимо ликвидировать все следы его использования. 3. каждый пользователь системы должен уникальным образом идентифицироваться. Каждое регистрируемое действие должно ассоциироваться с конкретным пользователем. 4. доверенная вычислительная база должна создавать, поддерживать и защищать журнал регистрационной информации, относящейся к доступу к объектам, контролируемым базой. 5. тестирование должно подтвердить отсутствие очевидных недостатков в механизмах изоляции ресурсов и защиты регистрационной информации. Уровень B Также именуется — принудительное управление доступом. Класс B В дополнение к C2: 1. доверенная вычислительная база должна управлять метками безопасности, ассоциируемыми с каждым субъектом и хранимым объектом. 2. доверенная вычислительная база должна обеспечить реализацию принудительного управления доступом всех субъектов ко всем хранимым объектам. 3. доверенная вычислительная база должна обеспечивать взаимную изоляцию процессов путем разделения их адресных пространств. 4. группа специалистов, полностью понимающих реализацию доверенной вычислительной базы, должна подвергнуть описание архитектуры, исходные и объектные коды тщательному анализу и тестированию. 5. должна существовать неформальная или формальная модель политики безопасности, поддерживаемой доверенной вычислительной базой. Класс B2 В дополнение к B1: 1. снабжаться метками должны все ресурсы системы (например, ПЗУ), прямо или косвенно доступные субъектам. 2. к доверенной вычислительной базе должен поддерживаться доверенный коммуникационный путь для пользователя, выполняющего операции начальной идентификации и аутентификации. 3. должна быть предусмотрена возможность регистрации событий, связанных с организацией тайных каналов обмена с памятью. 4. доверенная вычислительная база должна быть внутренне структурирована на хорошо определенные, относительно независимые модули. 5. системный архитектор должен тщательно проанализировать возможности организации тайных каналов обмена с памятью и оценить максимальную пропускную способность каждого выявленного канала. 6. должна быть продемонстрирована относительная устойчивость доверенной вычислительной базы к попыткам проникновения. 7. модель политики безопасности должна быть формальной. Для доверенной вычислительной базы должны существовать описательные спецификации верхнего уровня, точно и полно определяющие её интерфейс. 8. в процессе разработки и сопровождения доверенной вычислительной базы должна использоваться система конфигурационного управления, обеспечивающая контроль изменений в описательных спецификациях верхнего уровня, иных архитектурных данных, реализационной документации, исходных текстах, работающей версии объектного кода, тестовых данных и документации. 9. тесты должны подтверждать действенность мер по уменьшению пропускной способности тайных каналов передачи информации. Класс B3 В дополнение к B2: 1. для произвольного управления доступом должны обязательно использоваться списки управления доступом с указанием разрешенных режимов. 2. должна быть предусмотрена возможность регистрации появления или накопления событий, несущих угрозу политике безопасности системы. Администратор безопасности должен немедленно извещаться о попытках нарушения политики безопасности, а система, в случае продолжения попыток, должна пресекать их наименее болезненным способом. 3. доверенная вычислительная база должна быть спроектирована и структурирована таким образом, чтобы использовать полный и концептуально простой защитный механизм с точно определенной семантикой. 4. процедура анализа должна быть выполнена для временных тайных каналов. 5. должна быть специфицирована роль администратора безопасности. Получить права администратора безопасности можно только после выполнения явных, протоколируемых действий. 6. должны существовать процедуры и/или механизмы, позволяющие произвести восстановление после сбоя или иного нарушения работы без ослабления защиты. 7. должна быть продемонстрирована устойчивость доверенной вычислительной базы к попыткам проникновения. Уровень A Носит название — верифицируемая безопасность. Класс A1 В дополнение к B3: 1. тестирование должно продемонстрировать, что реализация доверенной вычислительной базы соответствует формальным спецификациям верхнего уровня. 2. помимо описательных, должны быть представлены формальные спецификации верхнего уровня. Необходимо использовать современные методы формальной спецификации и верификации систем. 3. механизм конфигурационного управления должен распространяться на весь жизненный цикл и все компоненты системы, имеющие отношение к обеспечению безопасности. 4. должно быть описано соответствие между формальными спецификациями верхнего уровня и исходными текстами. Помимо всего этого есть дополнительные продукты, например протоколы, которые ведутся операционной системами коммутаторов (см. 802.1х), контроль порта и т.д. Во всех программных продуктах есть аудит (имеются в виду системные продукты). Есть протокольные анализаторы – снифферы – средства анализа специалистами протоколов, но его так же используют хакеры для вскрытия системы безопасности. Надо защищаться сразу во многих местах, это значительно усложнит работу взломщиков, куда больше чем куча защит в одном месте. Лекция 15. Организация ЦОДов. Датацентр или ЦОД (центр обработки данных) - это просто здание или его часть, в котором находится машинный зал и вспомогательные службы. Стандарт TIA 942 объясняет организацию здания ЦОДа, учитывает массу других необходимых стандартов (кабельной системы (EIA/TIA 568,569,606,607), безопасное устройство электроустановок (IEEE C2), правила жизнедеятельности (NEC NPFA 101 безопасность, 70-про электричество, 75-защита компьютерного оборудования), инженерные телекоммуникационные требования ANSI T1, аварийное резервное снабжение IEEE 446, Telcordia GR - вентилирование, стандарты по отоплению, охлаждению, кондиционированию). Есть так же ГОСТы, однако международные нормативы опережают их, поэтому мы и говорим о них более детально. Пространство в датацентре может принадлежать как частной компании, так и нескольким поставщикам услуг. Могут содержать оборудование, обеспечивающее как доступ к Ethernet’у, так и хранение данных. Если ЦОД обслуживает частную компанию, то он называется частным доменом; если ЦОД обслуживает потребителей, он называется датацентром публичного домена. Датацентр состоит из Общая офисная зона Equipment room (ER) Охрана (Security) Enteres facility UPS и генераторы Офис админов Equipment room (для обслуживания) Складские помещения (резерв) Машинный зал Если рассматривать с точки зрения телекоммуникационной структуры, то схема будет другая Главный ввод – туда, куда приходят все кабели и провайдеры. Это специальное устройство, куда приходят внешние кабели, которые мы потом переключаем на кабели внутренние (для пожаробезопасности). Для надежности системы обычно используется несколько провайдеров. Главная распределительная зона (NDA) Провайдер 1 Офисная зона Главный ввод Главная распределительная зона Провайдер 2 Вспомогательная зона (для провайдеров) Магистраль Горизонтальные клозеты (HCI) HCI HCI ZDA HDA switch В горизонтальной зоне будут стоять коммутаторы, а в HDA будут стоять непосредственно стойки с серверами. В главной распределительной зоне будет аппаратная (маршрутизаторы, мультиплексоры, АТС- автоматическая телефонная станция). Это реализация согласно 942-му стандарту. В стандарте учтено все: Какова высота потолок (2,6), как располагать стойки (метр между стойками со шкафами и 0,6 от стены), эти нормативы необходимы, чтобы обеспечить бесперебойную работу системы. Согласно стандарту мы должны обеспечить кондиционирование, бесперебойное питание с мощностью до 100 кВт, более того, согласно стандарту: все что не связано с поддержкой оборудования машинного зала не должно стоять в машинном зале. Должна быть определенная освещенность, ширина дверей, нагрузка на перекрытие, требования по вентиляции отоплению, кондиционированию. Непосредственный доступ в зал только по экстренным случаям! Всем! Прежде всего безопасность обеспечивается с помощью отсутствия физического доступа. Это кодовые замки, дверь, ключи только у операторов (по рекомендации IBM это специалисты с высшим образованием, хоть это и не обязательно). Температурный стандарт на данный момент 21 градус. Должны быть обеспечены системы резервного питания, системы заземления, пожарной безопасности (обычно порошковые, иногда газовые, хотя они гасят хуже), отсутствие проникновения воды. Согласно стандарту специальным образом размещается оборудование: В зоне HDA специальным образом организованы ряды шкафов и стоек, которые тоже организованы в ряды. Оставлены проходы. Схема охлаждения оборудования называется «спереди назад», это учитывается при выборе оборудования. Со стороны «горячего» прохода воздух выпускается, а со стороны «холодного прохода» воздух всасывается. Там, где ничего не используется, шкафы и стойки должны иметь некоторое количество юнитов ( обычно 4,5 см, через которое ставится оборудование, секции на патчпанели например). Минимальный шкаф – 42 юнита. Каждый шкаф должен питаться желательно от двух источников электропитания. Проход спереди шкафа метр, сзади шкафа 0,6 метров. Полы делаются перфорированной плиткой (фальшь-пол). Ставятся rodent-protected оплетки на кабелях, для защиты от мышей и крыс, хотя мыши их все равно кушают =). Все вентиляционные решетки сделаны со специальными клапанами и специальными щетками, дабы оградиться от мышей, которые лезут по вентиляционным каналам. Топология кабельной системы — звезда. Длинна горизонтальной системы 90 метров. Магистраль 300 метров. Это заложено в стандартах Ethernet. Кабельная система категории 6, как single-mode, так и мульти мод. Может часть систем быть сделана при помощи коаксиального кабеля, в этом случае это 75 Ом’ный кабель. Особое внимание к надежности. (Есть 3 способа восстанавливать системы, это бекап, бекап и еще раз бекап). Есть 3 способа обеспечить надежность системы: Резервирование, резервирование, резервирование! Резервирование всего, что есть в данной системе. Резервировать провайдеров доступа, которые поставляют услуги. Резервировать маршрутизаторы, Co & H (свитчи для систем хранения), смотровые люки, всю телекоммуникационную инфраструктуру (все кабельные системы двойные, везде топология courage). Такое резервирование сертифицируется институтом Uptime Institute. Там договорились о том, какой уровень надежности должен обеспечить ЦОД. Таких уровней всего четыре, они называются tier: 1. Резервирование на уровне n+1. Предусматривается один дополнительный узел, путь канал и т.д или одна система в дополнении к тому минимуму, который требуется для работоспособности системы. Отказ или ремонт любого одного модуля или узла не нарушает работу системы. Резерв Всех каналов, всех портов. 2. Резервирование n + 2 Предусматривается два дополнительных узел, пути канала и т.д или две система в дополнении к тому минимуму, который требуется для работоспособности системы. И отказ или ремонт любых двух узлов не нарушает работу. 3. 2n – 2 комплекта узлов, модулей, две системы и отказ любого такого целого узла не нарушает работу. 4. 2n+1 – 2 комплекта узлов, модулей, путей + модули резервированы. В случае отказа любого узла или модуля система будет работать за счет резервирования. Если Датацентр TIA1 подвержен нарушению нормальному ходу системы и ее ремонту. Любые операционные системы предполагают фрагментирование памяти, которое в конечном счете приведет к поломке системы. Поэтому есть плановая остановка системы. Надежность системы — это не работа 24/7, а сколько она может простоять. Борьба с фрагментацией это серьезная проблема, она вынуждает выключать сервера. В дата центре уровня 1. Мы имеем системы распределения питание и охлаждения, но можем не иметь источников питания, то есть мы допускаем простой системы. А если имеются. То они позволяют обеспечить только какие то простые действия. Датацентр уровня 2 – есть и источники бесперебойного питания, генераторы, требуется по стандарту фальшь полы. Одна система питания. Имеем оценку n+1. Один путь распространения энергии. Часть обслуживания потребует части остановки части системы. Уровень 3 – параллельное проведение ремонтов. На больших объемах требуется мощная система охлаждения. Этот уровень обычно переходный. Его делают для того чтобы перейти к четвертому уровню, который очень затратен. Уровень 4 – отказоустойчивые датацентры. Отказов не бывает, бывает медленно. Отказоустойчивость делает обеспечивающими средствами. Любую плановую, не плановую деятельность можно делать не прерывая работы, т.к. есть резервирование систем. Резервирование 2n +1. Резервированы системы питания, охлаждения, вентиляции и т.д. Подвод питания двойной, raid’овские накопители и специальные способы защиты дисковых накопителей. Требования к сетевым средствам: Если уровень 1 – один внешний люк и канал. Если уровень 2 – провайдерское оборудование имеет избыточные компоненты, например дополнительный резервный адаптер, он же «горячий» резерв. Для таких датацентров выделяют специальные категории людей, которые называют спецификаторы, это люди, которые непосредственно разрабатывают спецификаторы. Это профессия. Магистральные кабели и системы хранения данных резервированы оптоволокном или медью и сделаны по типу звезды. Резервирование Кабелей и специальных смотровых мест. Уровень 3 – по крайней мере два провайдера доступа, обслуживание из двух офисов операторов связи, расстояние не менее 30 метров для каналов, которые входят в ваш датацентр, 2 комнаты ввода, для ввода кабелей на расстояние не менее 20 метров. Дублирование магистральных и горизонтальных зон. И горячий резерв для всей телекоммуникационного оборудования (Каждых адаптеров 2) Телекоммуникация 4-го уровня – дублирование магистральных маршрутизаторов мультиплексоров, коммуникаторов. Все сетевые соединения должны переключаться автоматически, для этого используются специальный протоколы. Главная и распределительная зона на разных концах датацентра. Каждая зона – свой кабельный канал и свое устройство ввода. Если системы по-настоящему серьезные – дублируются датацентры. Дублирующий центр защищен, экранирован там архивы с данными. Требование к электрооборудованию. Основной процент сбоев связан со сбоями в электропитании. Средний норматив по сбоям электропитания – 20 сбоев в месяц. Каждый такой сбой — это большая вероятность потери целостности данных. То есть единственный способ не потерять данные и их целостность – избавится от сбоев. Любая СУБД работает при помощи системы pointer’ов. Ссылки pointer’ов при любом сбое питания теряются. Поэтому все компьютерные специалисты, после тестирования на определенном примере (получив нужный результат) выключит питание в момент работы системы. В 90% случаев после этого бух. учет «завалится на бок». Это неправильное программирование, оно сложное программирование. Обычно Датацентры имеют питание по первой категории (от двух подстанций, причем желательны к тем, которые питают больницы.). Все питание – подземное, иначе уязвимы. Генераторы должны быть дизельными (газовые медленно запускаются). Должен быть запас дизельного топлива, а его едят микробы, поэтому надо мониторить состояние топлива. Запас топлива может быть от четырех часового до 60-ти дневного в зависимости от категории. 4 категория – 60 дней. Вырабатываемый ток должен быть понятен источнику бесперебойного питания, которые должны держать питание до 30 минут и, при наличии проблемы, включать моторы генераторов. Должны быть специальные пусковые токи с максимальным падением напряжения 15 процентов. Максимальная мощность должна обеспечить и систему охлаждения. Должна быть синхронизация в случае отказов. Иначе мы можем пустить и ток от генератора и от подстанции, а это приведет к сгоранию аппаратуры. Все генераторы и ups должны питаться от аварийного питания (и должны быть освещены). Генераторы должны быть или в отдельных помещениях или в специальном устройстве, гасящем вибрации. На телефонных узлах требуется держать питание до 8 часов. ( хотя по нормативам – 30 минут) Все это изложено в стандарте IEEE 1100. Чтобы не сгореть все устройства требуется заземлить. Если датацентр – сетка с ячейками из проводников. Сетка имеет ячейки от 0,6 до 3-х метров. Она должна быть под всем датацентром. Вся площадь машинного зала должна быть покрыта этой сеткой. Она присоединена специальными шинами к оборудованию. И такая шина заземления должна идти для каждой зоны датацентра и для каждой цели – свое сечение, к стойкам с оборудованиям, к вентиляционным стойкам (6 AVG), для каждой колонны по одной шине, которые заземлены. Все воздуховоды заземлены, к каждой опоре фальшь пола, к каждому шкафу своя шина соединения. НИЧЕГО НЕ СОЕДИНЯТЬ ПОСЛЕДОВАТЕЛЬНО. Лекция 16. Архитектура Прикладных процессов в современных сетевых системах. Сначала поговорим о сетевых системах. Все информационные системы на сегодняшний день сетевые. Сетевые системы развивались долгий срок. Но одним из важных этапов было создание сети интернет, которое породило буйное развитие в этой отрасли. Соединение сегментов сети между собой – Internetworking. Слово интернет происходит от него. Когда мы говорим интернет с маленькой буквы, то подразумеваем Internetworking. Первую архитектуру сделала компания IBM в 1974, она называлась SNA - Systems Network Architecture. Ошибочно полагать, что до интернета ничего не было. Когда мы говорим Интернет с большой буквы мы имеем в виду совокупность прикладных средств, позволяющих осуществлять передачу почты, доступ к документам, передачу файлов в общепонятном формате. Практически любая система каким-то образом воздействует с интернетом и практически все системы работают в режиме Internetworking. Интернет начался. Первые попытки соединить узлы для передачи данных (не голоса!) были предприняты в 58-м году, после того, как в советском союзе запустили спутник. интернет – ответная реакция штатов на это событие, т.к. для того, чтобы противодействовать и создавать функционирующую систему безопасности требуется быстрая передача данных, т.к. в противном случае не понятно где что летает и как реагировать. В 58-м году началось обсуждение проекта ARPANET, было создано агентство ARPA, подчиненная министерству безопасности. (за бюджетные деньги). Первоначально были соединены 4 узла (университеты), а именно Калифорнийский университет в ЛосАнджелесе, Стэндфордский исследовательский центр, Университет Юты и Университет штата Калифорния в Санта-Барбаре. И реализация была в 69-м году, первого сентября. В это же время появилась первая сеть с коммутацией пакетов, которая была предложена RAND Corporation. Postal, Crocker, Cerf – авторы архитектуры Arpanet’a. Для работоспособности этой сети используется протокол NCP – Network Control Protocol, протокол, который позволяет управлять узлами сети. В начале 70-х было 15-ть узлов и придумали протокол, который называется FTP и придумали способ войти в эту сеть удаленно TELNET. Томлинсон придумал протокол для передачи почты. В середине семидесятых было около 30-ти узлов, но т.к. не все понимали NCP, то требовался универсальный протокол. Винт Серф и Роберт Кан продумали специальный протокол TCP (в середине 70-х). TCP – протокол взаимодействия между узлами сети. Разделился на TCP и IP (в 80-х), был включен в Unix в середине 80-х, благодаря чему стал популярен, то есть стандартом де факто. В середине 70-х были придуманы стандарты RFС - Request for Comments, первые стандарты для описывания взаимодействия и протоколов. ARPANET был разделен на 2 сети, MILNET и ARPANET. Была придумана в середине 70-х система имен DNS, для того, чтобы присваивать их узлам сети. Это доменная система имен. После чего была попытка определиться с опорной сетью, ведь узлы должны на чем-то работать, это магистральные кабели и магистральные узловые системы, это и называется опорной сетью. Она была основана на том, что сделала министерство безопасности штатов, и хоть она и охватывала всю территорию, тем не менее не всех это устраивало, т.к. она принадлежала министерству безопасности и кончилось тем, что ее убрали из подчинения министерства безопасности штатов и определили опорные точки, к которым может присоединиться любой, кто хочет работать с этой сетью. 1-й провайдер интернет назывался The World, это уже 90-е годы. Сеть ARPANET фактически прекратило свое существование и стало называться сетью internet, уже не военная опорная сеть, с узлами порядка 100 тыс., были определены точки, к которым можно было подсоединиться. Организовали IETF - Internet Engineering Task Force, и соответствующие способы укладывать туда RFC, то есть описание того, что у нас происходит в сети. В 91-м году придумали WEB, систему хранения документов и гиперссылок, чтобы для всех иметь удобный и понятный метод доступа к документам. В начале 90-х придумали и первые браузеры, то есть программные продукты, которые позволяют просмотреть что у нас хранится в узлах этой сети. Первый графический браузер был Mosaic, а на его основе был сделан навигатор Netscape’овский. Точки сетевого доступа называются NAP’ы, и была создана 4 NAP‘а в городах США и к ним подсоединялись региональные сети. Поскольку все это достигло такого замечательного развития, появились соответствующие программные продукты, которые позволили хранить это все в режиме гипертекста, появилась соответствующая прикладная технология. В прошлый раз, когда мы рассматривали возможности SAN’ов и ЦОДов мы рассматривали возможность хранить в них данные, где мы можем располагать всевозможные узлы сети, доступ к которым будет осуществлен при помощи Internetworking и, в частности, при помощи средств интернета. Разделяют 2 сети: внутреннюю и внешнюю, intranet и extranet. Внутренняя сеть – сеть доступа, принадлежащая одной компании, доступ в нее доступен только ее членам и внешняя сеть, это внутренняя сеть компании, которая частично доступна другим пользователям, часто для них делаются разные кабельные сети. Далее возникла замечательная компания CISCO, которая предложила целую парадигму того, как должна работать любая компания и организовывать прикладные процессы с учетом Internetworking. И сказала следующее (продиктовала стандарт) электронный бизнес и электронная коммерция должны существовать в определенной прикладной инфраструктуре, которая должна содержать 5 шагов: 1. Компания должна внедрить электронную почту, для этого поставить почтовый сервер, который будет работать под какой-то своей локальной системой и взаимодействовать по сетевой. 2. Должна создать WEB-узел, это витрина компания, где компания должна позиционировать свои продукты и разработки. 3. Внедрить E-commerce (электронную коммерцию), технологию, которая позволяет заказчикам обрабатывать и создавать заказы на WEB сервере. 4. Должны организовать E-business (электронный бизнес) - полную интеграцию технологии интернет во все пространство предприятия, что повышает вероятность несанкционированного доступа! Поэтому так делают не всегда. 5. Интернет воспринимаем как экосистему. И заказчики, и поставщики, и основные деловые партнеры, и все объединения, и бесперебойное функционирование системы, буквально все контролируется и делается через WEB (в этом они малость переборщили). И хоть не все делается, но WEB-сервер часто присутствует в любой компании, через который любая компания в том или ином варианте работает на рынке. А вот обрабатывать ли заказчиков, делать ли через WEB интернет коммерцию или экосистему это большой вопрос. Но первый шаг в каком-то виде делают все. WEB – гипермедийная среда, которая позволяет просматривать информацию в сети с помощью механизма гиперссылок. Информация хранится на WEB страницах, оформлены они в виде подборок текста, графики, рисунков, аудио, видео ну и в дополнение к этому WEB страница может содержать гиперссылку на другие WEB страницы. Сама технология подразумевает возможность просмотра документов при помощи гипертекстов, при этом разработана часть протоколов, которые существуют просто для передачи файлов FTP например, Telnet для входа в систему или NTP – News Transport Protocol, для распространения новостей. Среда WEB предполагает, что существуют специальные узлы, в которых хранятся документы и гиперссылки, и есть пользователи, которые используют специальные продукты-браузеры, которые позволяют нам обращаться к этим сервисам. Сетевая операционная система позволяет распределять ресурсы сети, а распределенная операционная система, которая включает в себя WEB узлы и браузеры позволяет нам просто работать Point-to-Point, то есть просто обращаться от юзера к WEB серверу и то и другое работает все в месте. Основная часть информации в среде хранится в документах, созданных с помощью специального протокола HTML, протокол с помощью которого происходит обмен информации между WEB узлом и браузером. Это не всегда так, например, это не работает для мультимедиа или систем real time, для этого существуют специфические системы. Для того, чтобы документ можно было просматривать установлена система ссылок, она называется URL, это разметка документов. Протокол HTTP очень простой, но у него есть две особенности, он предполагает, что мы всегда устанавливаем соединения между веб сервером и клиентом (т.к. в операционных системах клиентом называют другое, то рекомендуем говорить браузер). Этот протокол является connection oriented, у него есть один большой недостаток он stateless. Это означает, что этот протокол не может запоминать состояние передачи, поэтому для систем мультимедиа (70% передачи) требуется специальные разработки, своих серверов и браузеров. Тем не менее в протоколе HTTP есть подключение, есть запрос, есть ответ, то есть специальная спецификация, больше там ничего и нет. Есть спецификация MIME, которая говорит какие должны быть расширения всевозможных данных в сети интернет, например все image это jpeg. Видео, предположим, mpeg, а текстовые файлы, это, например, HTML. Язык HTML – специальный язык форматирования документов, он тоже очень простой. URL локатор — это вещь достаточно простая, сначала идет протокол, затем имя узла, а затем путь к файлу в этом узле. Но у этих технологий есть одна проблема: либо WEB страница должна быть статической (неизменной), либо динамической (генерируется в момент запроса) и вот для генерации динамических страниц требуются специальные вещи (т.к. мы не можем получить все данные с одного WEB узла). Их требуется собрать, обратится к базам данных. А главное все данные сгенерировать в страницу, для этого используются специальные средства интеграции в среду WEB и вот эти средства требуют специальных серверов приложений. Если мы хотим получить какие то сложные запросы мы должны где-то в HTML сделать возможность подсобрать динамические страницы, то есть написать какие-то макросы на другом языке, например на Java. Этим и занимается сервер приложений. Который будет передавать и тянуть данные с сервера СУБД. Он не может работать без него. Более того, сервер приложений иногда работает под частичным ядром СУБД, т.к. ему требуется интегрировать WEB запросы в вид, понятный СУБД, а это разные продукты. Методы интеграции WEB в среду СУБД они предполагают всевозможные языки сценария, например Javascript. Есть другие возможности интегрировать в среду СУБД, например cookie-файлы, которые позволяют делать некоторые вещи на машинах, на которых стоят браузеры. Есть специальные приложения, которые дают расширения WEB серверов, которые позволяют нам писать дополнительные приложения для серверов приложений с помощью Java, мы можем сделать специальные приложения, которые обрабатывают данные на серверах или станциях. IP-интерфейсы могут иметь интерфейсы с SQL, которые будут делаться на сервере приложений. Архитектура прикладных процессов, это очень тонкий момент, т.к. все серверы приложений должны быть тесно связаны с СУБД т.к. иначе мы ничего никуда не передадим, здесь нет стандарта, но есть масса средств типа Java, SQL и т.д. Но есть общая рекомендация: Сервер Приложений должен быть от того же производителя, от которого и сервер СУБД, иначе требуются специальные способы собирания. Если Сервер Oracle, то он будет состоять из кучи модулей это HTTP от Oracle, на основе Apache с кучей модулей, это будет служба прикладных алгоритмов, это сервисы презентаций, специальные службы кеширования (базы данных и WEB кеш). (Кеш – это не хардвеерный кеш, это буфер кеш. Это область в оперативной памяти, где держатся информация, которую читают часто. Буфер пул – то что пишу или читаю сейчас). Будет специальная файловая система Oracle AFS, и некие сервисы управления информацией. Там же будут специальные службы прикладных обеспечений и портальный службы. + специальные средства для разработчика (Orale HTML, интерфейсы к БД Oracle и некоторые системные вещи, например security и perfomance). Только после того как это будет обработано на сервере приложений это будет передано СУБД.