Современные проблемы управления ИТ инфраструктурой

Приложение 1 СОВРЕМЕННЫЕ ПРОБЛЕМЫ УПРАВЛЕНИЯ ИТИНФРАСТРУКТУРОЙ Сегодня в России практически не осталось компаний, в которых не применяются информационные технологии, и проблемой большинства из них в настоящее время является уже не отсутствие автоматизации тех или иных процессов как таковой, а последствия проведенной стихийной автоматизации без долгосрочных планов и без представления о перспективах ее развития. Стихийная закупка вычислительной техники и программного обеспечения, заказ и внедрение не подлежащих обновлению бизнесприложений у мелких компаний, ныне уже не существующих, наличие разных приложений для решения одной и той же задачи, внедренных в разных подразделениях, проблемы администрирования и защиты неоднородных сегментированных сетей — вот далеко не полный перечень проблем, с которыми сегодня приходится сталкиваться руководителям ИТподразделений различных компаний. ИТ-средой компании, имеющей подобные проблемы, довольно сложно управлять, даже несмотря на то, что возможности современных средств администрирования программного обеспечения ныне значительно шире, чем средства, доступные ИТ-подразделению десять лет назад. Такие задачи, как поддержка различных версий операционных систем и бизнесприложений, разграничение доступа к ресурсам и данным при росте числа пользователей, управление производительностью серверов при растущей нагрузке, своевременная установка критических обновлений в больших компаниях с неоднородными сетями и стихийно сформировавшейся ИТинфраструктурой, нельзя назвать простыми. 1 Приложение 2 ТРЕБОВАНИЯ К СРЕДСТВАМ УПРАВЛЕНИЯ ИТИНФРАСТРУКТУРОЙ Автоматизация установки операционных систем, приложений и обновлений При наличии огромного компьютерного парка и неоднородной ИТсреды установку новых операционных систем и типовых приложений гораздо выгоднее проводить в автоматическом режиме. Быстрота массового развертывания базовых программных продуктов это — один из инструментов минимизации сбоев в бизнес-процессах и снижения издержек на обслуживание ИТ-инфраструктуры. Автоматическое выполнение повторяющихся рутинных операций (например, с помощью записи сценариев) существенно упрощает администрирование сети. Поэтому современные средства управления ИТинфраструктурой должны позволять осуществлять подобные действия. Автоматизированная обработка событий и сбор статистики Автоматизированная обработка событий в сети предполагает отслеживание неполадок в управляемых компьютерах и устройствах, автоматическое определение и устранение их причин, исправление последствий сбоев, а нередко и их предотвращение с помощью выполнения диагностических операций и соответствующих превентивных мер, сбор и анализ статистики интенсивности применения и частоты ошибок сетевых устройств. Управление производительностью и доступностью Управление производительностью предполагает управление конфигурированием компьютеров и сетевых устройств, их включение и выключение в зависимости от заданного расписания или в случае технической необходимости (например, включение дополнительных устройств при достижении определенного уровня нагрузки). К этой же 2 категории относят контроль применения ресурсов, в частности управление потреблением сетевых ресурсов приложениями или пользователями. 3 Приложение 3 СЕМЕСТВА СРЕДСТВ УПРАВЛЕНИЯ ИТ-ИНФРАСТРУКТУРОЙ Компания BMC Software — всемирно известный разработчик и поставщик средств администрирования сетей, приложений, баз данных, ERPи CRM-систем, повышающих доступность, производительность и восстанавливаемость критических бизнес-приложений и данных. Продукты BMC доступны для широкого спектра платформ, включая различные реализации и версии UNIX, Windows, OS/2, OS/390, OpenVMS и NetWare. Данные приложений BMC могут храниться в базе данных о конфигурациях BMC Atrium CMDB (Configuration Management Database), обладающей удобными средствами визуализации данных. Отметим, что продукты BMC включают документированный прикладной программный интерфейс, позволяющий создавать на их основе собственные решения и осуществлять интеграцию средств BMC с другими приложениями. Computer Associates Семейство продуктов Unicenter для управления ИТ-инфраструктурой компании Computer Associates (CA) можно адаптировать для применения практически в любой вычислительной среде. В состав данного семейства входят следующие продукты: • Unicenter Asset Management — инструмент для автоматизации управления ИТ-активами предприятия, с помощью которого осуществляется комплексный учет и контроль ИТ-ресурсов. • Unicenter Software Delivery — обеспечивает автоматизацию процессов развертывания и обновления программного обеспечения на настольных, мобильных и карманных компьютерах, а также на серверах в гетерогенных сетевых средах, включая доставку приложений, распространение исправлений и обновлений, 4 управление системными конфигурациями и откат инсталляций на различных программных и аппаратных платформах Unicenter Remote Control — это надежная и защищенная корпоративная • система удаленного управления Windows-компьютерами. Перечень задач удаленного управления включает обслуживание удаленных сервисов, таких как сетевые приложения, администрирование серверов и удаленное управление компьютерами конечных пользователей. Hewlett-Packard HP OpenView представляет собой комплекс программных продуктов, ориентированных на управление корпоративными информационными технологиями любого масштаба — от небольших систем на базе Windowsсерверов до крупных распределенных систем на базе различных версий UNIX, Linux и Windows, содержащих несколько тысяч компьютеров. В данный комплекс входят средства управления сетями, операционными системами, приложениями, а также их производительностью, копированием и хранением данных, сервисами. К средствам управления серверами и приложениями следует отнести в первую очередь HP OpenView Operations for Windows и HP OpenView Operations for Unix. Эти продукты предназначены для мониторинга и управления производительностью приложений. Для управления производительностью приложений в состав указанного семейства входят средства HP OpenView Performance Manager и Performance Agents, позволяющие с помощью единого интерфейса осуществлять централизованный мониторинг, анализ и прогнозирование использования ресурсов в распределенных и неоднородных средах. Для управления идентификацией и доступом к ИТ-ресурсам в состав семейства HP OpenView входят продукты HP OpenView Select Identity, HP OpenView Select Access и HP OpenView Select Federation, а для управления 5 резервным копированием и восстановлением данных серверных СУБД — HP OpenView Storage Data Protector. Отметим предназначенных также для наличие в данном осуществления семействе взаимодействия с продуктов, конечными пользователями с целью улучшения качества их обслуживания, — HP OpenView Service Desk, а также средства мониторинга бизнес-процессов HP OpenView Business Process Insight и средства управления архитектурой, ориентированной на сервисы, — HP OpenView Service Oriented Architecture Manager. Для управления Интернет-сервисами в данном семействе продуктов предусмотрено решение HP OpenView Internet Services, позволяющее осуществлять внешнее зондирование прикладных служб, Интернет-сервисов и протоколов посредством моделирования запросов пользователей к каталогам, почтовым службам, веб-службам, сервисам удаленного доступа (в том числе коммутируемого и беспроводного доступа). IBM Семейство продуктов IBM Tivoli, предназначенных для управления приложениями предприятий различного масштаба, основано на наборе базовых компонентов, из которых строится решение для конкретного предприятия. Главной отличительной особенностью данного семейства продуктов является так называемое упреждающее управление IT- инфраструктурой, способное выявлять и устранять неисправности еще до их возникновения. Семейство продуктов Tivoli включает решения для управления конфигурацией и операционной поддержки: • IBM Tivoli Configuration Manager — позволяет управлять установкой и обновлением ПО, в том числе и на карманные компьютеры; • IBM Tivoli License Manager — предназначено для инвентаризации программного обеспечения; 6 • IBM Tivoli Remote Control — позволяет устанавливать политики для управления IT-ресурсами предприятия и удаленно администрировать настольные системы; • IBM Tivoli Workload Scheduler — дает возможность автоматизировать рабочие нагрузки. • Помимо средств управления конфигурациями, семейство продуктов Tivoli включает решения для управления производительностью и доступностью: • IBM Tivoli Monitoring — для осуществления распределенного мониторинга различных систем, автоматического обнаружения и устранения проблем и анализа тенденций; • IBM Tivoli Monitoring for Databases (поддерживаются СУБД производства IBM, Oracle и Microsoft) и Tivoli Manager for Sybase — для централизованного управления серверами и базами данных; • IBM Tivoli Monitoring for Web Infrastructure — для управления web- серверами и серверами приложений; • IBM Tivoli Monitoring for Applications — для управления бизнес- приложениями SAP; • IBM Tivoli Analyzer для Lotus Domino 6.0 и IBM Tivoli Monitoring for Transaction Performance — для обнаружения проблем производительности систем, основанных на серверных продуктах самой IBM; • IBM Tivoli Web Site Analyzer — для анализа трафика посетителей, статистики посещаемости страниц, целостности информационного наполнения webсайта; • IBM Tivoli Service Level Advisor — для обеспечения упреждающего управления и прогнозирования отказов посредством количественного анализа производительности; • IBM Tivoli NetView — для управления сетью; • IBM Tivoli Switch Analyzer — для обнаружения и заполнения всех коммутаторов сетевого уровня; 7 • IBM Tivoli Enterprise Console — для многоуровневого поиска причин неисправностей и анализа событий. Кроме того, имеется ряд решений для автоматизированного управления распределением ИТ-ресурсов и пиковыми нагрузками. В состав семейства Tivoli входят также продукты для обеспечения безопасности: • IBM Directory Server — для синхронизации данных о безопасности в масштабе всех используемых приложений; • IBM Directory Integrator — для интеграции идентификационных параметров, содержащихся в каталогах, базах данных, системах коллективной работы и бизнес-приложениях; • IBM Tivoli Identity Manager и IBM Tivoli Access Manager for Operating Systems — для управления доступом к приложениям и операционным системам; • IBM Tivoli Risk Manager — для централизованного управления защитой сети. Помимо этого, семейство Tivoli включает широкий спектр продуктов для управления резервным копированием и системами хранения данных. Microsoft Хотя сегодня Microsoft и не является лидером рынка средств управления ИТ-инфраструктурой, средства управления приложениями производства этой компании применяются в нашей стране достаточно широко. Основное назначение средств Microsoft Microsoft Systems Management Server (SMS) и Microsoft Operations Manager (MOM), а также средств администрирования, доступных пользователям последних версий серверных операционных систем Microsoft (таких, как Automated Deployment Services, Remote Installation Services, Microsoft Group Policy Management Console, Microsoft Windows Update Services), — управление программным обеспечением, автоматическая установка операционных систем Microsoft и 8 предназначенных для них приложений, автоматическая доставка обновлений, управление доступом и правами пользвателей, которые указаны на рисунке 1. Рисунок 1 - Управление информационными системами с помощью Microsoft Operations Manager и Microsoft Systems Management Server Microsoft Systems Management Server предназначен для обеспечения автоматического распространения и учета программного обеспечения в крупных распределенных системах на основе операционных систем самой Microsoft, включая планирование с определением оборудования и ПО в локальной сети, проверку, анализ, внедрение бизнес-приложений для различных целевых групп пользователей, установку приложений на вновь появившиеся рабочие места в соответствии с правами пользователя. Microsoft Operations Manager предназначен для выявления и устранения неполадок в работе сети, оборудования и приложений за счет прямого мониторинга происходящих событий, а также состояния и 9 производительности сетевых ресурсов и выдаче предупреждений о потенциальных проблемах, указанные на рисунке 2. Рисунок 2 - Мониторинг состояния серверов с помощью Microsoft Operations Manager Кроме того, существуют отдельные решения для управления произвоительностью и для анализа событий для компонентов ИТинфраструктуры, основанной на серверных продуктах Microsoft, такие как Active Directory Management Pack — для отслеживания состояния службы каталогов Active Directory, Exchange Management Pack — для управления сервисами обмена сообщениями и хранилищами данных Exchange, а также ряд других продуктов. Для обеспечения взаимодействия со средствами управления ИТ-инфраструктурой производства других компаний имеется продукт MOM Connector Framework, позволяющий осуществлять 10 двунаправленную трансляцию предупреждений и синхронизацию данных с помощью web-служб. 11 Приложение 4 Мониторинг Возможные направления оптимизации Решение вопросов, указанных выше, требует проведения работ в различных направлениях: 1. обеспечение инфраструктуры и оперативного контроля производительностью за работы сбоями в сетевого работе и ИТ серверного оборудования; 2. обеспечение оперативного мониторинга распределенных корпоративных приложений; 3. переход к сервисной модели предоставления ИТ услуг; 4. оптимизация инфраструктуры, использования организация контроля арендуемой\личной за канальной соблюдением SLA услуг, предоставляемых провайдерами. Постановка задач. Базовая бизнес-задача: обеспечение заданной производительности работы распределенных корпоративных приложений с заданной надежностью. Эта задача распадается на следующие технические подзадачи: а) создание надежных каналов связи б) оптимизация трафика во внутрикорпоративных сетях \ повышение надежности работы тонких транзакционных механизмов корпоративных приложений в) пассивный и активный мониторинг работы корпоративных приложений с целью своевременного определения деградации производительности г) уменьшение времени решения возникающих проблем Предлагаемая методика решения Настоящая методика построена из предположения, что в компании не существует ни одного из модулей, входящего в комплексную систему 12 мониторинга ИТ инфраструктуры. Естественно, что часто это бывает не так, поэтому тот или иной шаг методики может быть пропущен или рассмотрен с целью оптимизации уже существующего модуля. Слои предприятия изображены на рисунке 4. Рисунок 4 - Слои предприятия Шаг 1. Внедрение подсистемы регистрации и управления неисправностями (fault management). Шаг 2. Внедрение подсистемы приема и обработки заявок. (service desk/trouble ticketing). Шаг 3. Внедрение мониторинга производительности сетевой и канальной инфраструктуры (network & server performance management). Шаг 4. Внедрение мониторинга производительности работы корпоративных приложений (application performance management). Для различных самостоятельно разработанных решений внедрение может занять больше времени, поскольку потребует детального предварительного обследования существующих бизнес-процессов и их связке с реализацией в существующем в компании программном комплексе, который изображен на рисунке 5. 13 Рисунок 5 - Взаимодействие модулей в комплексном решении мониторинга ИТ инфраструктуры Краткая справка о концепции ключевых показателей качества Key Performance Indicators (KPI) — ключевой показатель производительности, который представляет собой результаты тестов и измерений или статистические данные, полученные непосредственно с технических ресурсов сети или приложений. На настоящий момент существует большой список KPI, для каждого вида сетевых технологий и сервисов\приложений. Для более детального учета особенностей сети этот список может быть расширен дополнительными KPI, определенными непосредственно представителями ИТ-службы. При выборе необходимых для адекватной оценки качества сервиса индикаторов необходимо минимизировать их количество и учитывать возможное «перекрестное» влияние отдельного KPI на несколько различных KQI, которые изображены на рисунке 6. 14 Рисунок 6 - Преимущества мониторинга серверов Одной из первоочередных задач любого центра управления сетью (ЦУС) должно быть снижение времени простоя. Это включает в себя такие очевидные действия, как незамедлительная реакция на поломку на IT предприятии вместо ожидания обнаружения поломки другими пользователями. Так же это включает отслеживание симптомов проблемы и составление отчетов/корректировку до того, как симптомы выльются в выход из строя. В силу наличия расширенного набора средств мониторинга серверов в профессионально организованном ЦУС, такой центр может зачастую помочь системным и сетевым администраторам в разрешении проблем, таким образом, значительно сокращая среднее время решения проблемы. В некоторых случаях, ЦУС может даже восстановить сервис без привлечения системного администратора, если структурирование взаимоотношений ЦУС — IT это предусматривает. Мониторинг поможет расширить знания об общих проблемах, которые могут быть использованы для укрепления IT среды в целом. Снижение производственных затрат в сфере IT. Стоимость устранения даже незначительных неполадок вычислительных сервисов может с легкостью достигать весьма значительных сумм. В таком случае, если ЦУС предотвращает хотя бы один перебой в 15 работе в год, то затраты на его услуги окупаются в значительной мере. Поэтому очевидно, что если поставщик услуг по мониторингу экономит деньги своих клиентов, то он в полном объёме предоставляет данную услугу. Повышение производительности работы ЦУС должен заботиться о повседневных проблемах и вопросах, возникающих с оборудованием на IT предприятии. Это позволит IT администраторам заниматься фактической технической работой, за которую им платят. Это может включать такие проекты, как укрепление среды, внедрение передового опыта, усовершенствование и планирование мощностей и много других интересных и продуктивных мероприятий вместо решения проблем, связанных преимущественно с устранением неполадок. Защита доходов. Мониторинг серверов предприятия позволяет вовремя заметить критическую ситуацию и избежать сбоя работы, что напрямую связано с получением доходов. Но при поломке сервиса, потеря дохода — не единственная потеря. Клиенты перейдут к другим поставщикам услуг, если сервис будет медленным или ненадежным. Сохранение клиентской базы Клиенты не уходят только лишь из-за единичного негативного опыта. Многие уходят из-за ненадежности или негодной производительности в целом. Поэтому важно в минимальные сроки решать не только крупные поломки. Например, какой-то незначительный 10-минутный простой DNS может показаться Вам банальным, но именно он может оказаться «последней каплей», переполнившей терпение клиента. Также мониторинг позволит IT организациям «вести счет» своей благополучной деятельности по предоставлению ключевых услуг пользователям и клиентам и посредством этого получать уверенность и нарабатывать авторитет. Улучшение качества жизни системного администратора Планирование пропускной способности сети. 16 При наличии профессиональных средств мониторинга, ЦУС может оказать огромную помощь при осуществлении планирования пропускной способности. У ЦУС есть в наличии скомпонованное оборудование и если потребление ресурсов увеличивается, они могут с легкостью разработать план по внедрению увеличенных мощностей. Соответствие заявленному уровню обслуживания. Мониторинг позволяет IT организациям проверять доступность сервиса в режиме реального времени, проверять данные по прошедшей доступности сервиса и использовать эту информацию для соответствия уровню обслуживания, гарантированному пользователям данного приложения и клиенту в целом. 17 − − − − − − − − − − − − IT специалисту: Проактивный мониторинг серверов; Круглосуточное оповещение; Быстрое выявление причин проблем; Оперативное фиксирование проблем. Мониторинг IT инфраструктуры: Сокращение простоев; Повышение доступности бизнесприложений; Проактивный анализ проблем; Повышение эффективности использования ИТ-ресурсов. Директору: Бухгалтеру: − Оперативная информация о − Минимизация простоев; состоянии систем и сервисов; − ИТ специалист узнает о − Контроль работы ИТ проблемах раньше специалиста; пользователя и устраняет их в кратчайшие сроки. − Понятное представление ИТ структуры сервисов. Возможности: Мониторинг сетей; Мониторинг серверов и рабочих станций; Мониторинг приложений и сервисов; Мониторинг бизнес-процессов. Мониторинг IT сервисов: − Повышение уровня доступности ИТ сервисов; − Повышение эффективности работы и качества поддержки ИТ сервисов; − Сокращения затрат на поддержку. Цели мониторинга: − Оптимизировать использование информационных ресурсов; − Обеспечить надежность, безопасность ИТинфраструктуры; − Облегчить модернизацию ИТ; − Повысить качество ИТ-сервисов и эффективность ИТ 18 службы. 19 Зачем нужен мониторинг? Например, у Вас фирма с небольшим отделом IT: несколько серверов, чуть больше персональных компьютеров, сетевая оргтехника, интернет и т.п. Все это оборудование зачастую обслуживает один администратор. Подключиться через ssh или rdp на каждый сервер. Проверить сообщения системы, размер свободного пространства, хватает оперативной памяти и других мощностей. Проверить задания резервного копирования. Убедиться, что сетевая оргтехника работает. И тому подобные ежедневные рутинные задачи. Преимущества системы мониторинга: • администратор узнает о проблеме до её появления, и примет соответствующие меры; • администратор узнает о проблеме первым, а не от разгневанных пользователей, что бы устранить её в кратчайшие сроки; • руководитель ИТ службы может за минуту оценить ситуацию в целом и детально по всей инфраструктуре; • администратор избавлен от ежедневных проверок и может заняться более важными задачами. Что можно мониторить: • сервера на базе ОС Microsoft Windows, Linux; • рабочие станции; • клиентские и серверные приложения и службы; • сетевую оргтехнику (принтера, сканеры, и т.п.); • доступность сайтов; • процессор, память, диски (место, количество IOPS, скорость IO, очередь), трафик сети, количество потоков и процессов; • строить графики; • отправлять уведомления – e-mail, sms, др. 20 Приложение 5 Виды виртуализации платформ а) полная эмуляция (симуляция). При таком виде виртуализации виртуальная машина полностью виртуализует все аппаратное обеспечение при сохранении гостевой операционной системы в неизменном виде. Такой подход позволяет эмулировать различные аппаратные архитектуры. Например, можно запускать виртуальные машины с гостевыми системами для x86-процессоров на платформах с другой архитектурой (например, на RISC-серверах компании Sun). б) частичная эмуляция (нативная виртуализация). В этом случае виртуальная машина виртуализует лишь необходимое количество аппаратного обеспечения, чтобы она могла быть запущена изолированно. Такой подход позволяет запускать гостевые операционные системы, разработанные только для той же архитектуры, что и у хоста. Таким образом, несколько экземпляров гостевых систем могут быть запущены одновременно. Этот вид виртуализации позволяет существенно увеличить быстродействие гостевых систем по сравнению с полной эмуляцией и широко используется в настоящее время. К минусам данного вида виртуализации можно отнести зависимость виртуальных машин от архитектуры аппаратной платформы. в) частичная виртуализация, а также «виртуализация адресного пространства» («address space virtualization»). При таком подходе, виртуальная машина симулирует несколько экземпляров аппаратного окружения (но не всего), в частности, пространства адресов. Такой вид виртуализации позволяет совместно использовать ресурсы и изолировать процессы, но не позволяет разделять экземпляры гостевых операционных систем. г) паравиртуализация. 21 При применении паравиртуализации нет необходимости симулировать аппаратное обеспечение, однако, вместо этого (или в дополнение к этому), используется специальный программный интерфейс (API) для взаимодействия с гостевой операционной системой. Такой подход требует модификации кода гостевой системы, что, с точки зрения сообщества, Open Source не так и критично. д) виртуализация уровня операционной системы. Сутью данного вида виртуализации является виртуализация физического сервера на уровне операционной системы в целях создания нескольких защищенных виртуализованных серверов на одном физическом. Гостевая система, в данном случае, разделяет использование одного ядра хостовой операционной системы с другими гостевыми системами. е) виртуализация уровня приложений. Этот вид виртуализации не похож на все остальные: если в предыдущих случаях создаются виртуальные среды или виртуальные машины, использующиеся для изоляции приложений, то в данном случае само приложение помещается в контейнер с необходимыми элементами для своей работы: файлами реестра, конфигурационными файлами, пользовательскими и системными объектами. В результате получается приложение, не требующее установки на аналогичной платформе. 22 Приложение 6 Роли NAS NAS в роли домашнего медиа-сервера. Группа сценариев домашнего применения сетевого хранилища для организации доступа к данным так или иначе связана с понятием «сервера». Современные NAS отлично подходят для организации на их базе серверов самой различной направленности – как используемых в рамках локальной домашней сети, так и имеющие канал связи с интернетом. Самое очевидный и самый популярный сценарий этой группы – применение сетевого хранилища в качестве медиа-сервера. Этот сценарий предполагает каталогизированное складирование на NAS видео- звуковых и графических файлов для доступа к ним компьютеров, телевизоров, сетевых медиацентров, ноутбуков, планшетов и смартфонов, находящихся в доме. Фактически, это – развлекательная грань работы так называемого «умного дома»: сетевой инфраструктуры, связывающей все домашние гаджеты в единую функциональную систему. NAS в роли наблюдательного пункта. Наконец, применять NAS в связке с камерами наблюдения дома могут те люди, чьё жилище имеет площадь в несколько сотен квадратных метров и двор, измеряемый гектарами, это наглядно изображено на рисунке 11. Этот сценарий домашнего использования нельзя назвать слишком распространённым, поэтому вкратце расскажем о некоторых его нюансах. Начнём с того, что, выбирая NAS для организации сервера видеонаблюдения с помощью изучения его характеристик, вы можете быть удивлены тому, что в настройках этого пункта не обнаружится. Как только что было сказано, востребованная организация функция сетевого сервера наблюдения хранилища. – Поэтому не самая некоторые производители NAS делают её программно факультативной: чтобы получить 23 желаемую функциональность, пользователю нужно скачать и установить утилиту-расширение. Рисунок 11 – NAS в роли наблюдательного пункта Ещё один нюанс касается непосредственной работы сетевого хранилища с камерами наблюдения. Конечно, не стоит упоминать, что речь идёт об IP-камерах, которые отличаются от обычных тем, что используют беспроводное соединение устройством IP-адреса с и полноценным кодируют закреплением видеопоток с за каждым оптимальным соотношением качества и объёма данных. Работа NAS в качестве сервера видеонаблюдения очень различается от модели к модели и от производителя к производителю. Основной параметр тут – количество выделенных каналов. Этот параметр может быть, как постоянным, так и расширяемым. В последнем случае производитель 24 организовывает процесс через продажу лицензионных кодов, открывающих возможность присоединять к серверу новые камеры. NAS в роли аудио- и видеоархива. В отличие от любой другой периферийной техники для компьютера, использующей лишь функционально необходимые электронные компоненты, сетевое хранилище представляет собой специализированный, но самый настоящий компьютер. Поэтому очевидно, что работа на домашнем ПК в паре с NAS автоматически предполагает создание в доме локальной сети. При всех сценариях использования сетевого хранилища дома от устройства требуется исправно выполнять две основные функции – хранить большие объёмы информации с максимально возможным уровнен безопасности и обеспечивать доступ к ней по схеме, определённой администратором. В порядке очереди начнём мы со сценариев, где основная функция – это хранение. Хранение домашнего видеофайлов использования в NAS абсолютном означает большинстве создание случаев персональной фильмотеки. В современных условиях, когда тарифы на безлимитный доступ в интернет весьма невелики, а скорость соединения позволяет смотреть кино в потоковом режиме, коллекционирование видеофайлов на локальном жёстком диске может показаться архаизмом. Однако два момента заставляют посмотреть на вопрос под другим углом. Один из них касается качества доступа в интернет. Не везде в нашей стране он одинаков – особенно тут тяжело приходится сельским жителям и жителям небольших городов. Второй момент создания фильмотеки на базе сетевого хранилища касается объёма видеофайов и особым требованиям к скорости доступа к ним. Как уже было сказано выше, в крупных городах максимальная скорость широкополосного доступа в интернет позволяет смотреть фильмы потоком в достаточно неплохом качестве. Однако качество и требования к скорости 25 доступа постоянно растут. Стандарт Full HD с пятиканальным звуком уже стал обыденностью. В штатном порядке выходят 3D-фильмы. Продажи телевизоров Ultra HD набирают обороты – а с ними появляется возможность выпускать киноленты с разрешением 3840 на 2160 точек. Увлечённый киноман сегодня просто вынужден собирать свою коллекцию на базе сетевого хранилища, если в его приоритетах значится качество изображения – а значит размер файла и его битрейт при воспроизведении. Видео, записанное и сберегаемое на дисках сетевого хранилища, прерогатива не одних лишь кинолюбителей. Ещё один сценарий использования NAS дома – это создание архива при работе частным видеооператором, монтажёром, режиссёром. Использование сетевого хранилища в качестве домашнего архива рабочих материалов может быть крайне удобно для людей, индивидуальным порядком занимающихся также фотографией или музыкой. Сначала поговорим о фотографах. Ни для кого не секрет, что работа профессионального фотографа предполагает избыточность материала. К примеру, американские мастера, специализирующиеся на съёмке свадеб, в ходе одного заказа делают до 5000 кадров. Это – колоссальный объём информации – с учётом использования современных аппаратов с многопиксельными матрицами и использовании «сырого» RAW. NAS в роли хранилища резервных копий. Ещё один, весьма важный по своей сути, сценарий домашнего использования сетевого хранилища актуален там, где у довольно большой семьи в арсенале оказывается много современной техники. Смартфоны, планшетные компьютеры, ноутбуки, настольные компьютеры – все они отлично помогают в работе и развлечении… пока что-то внутри пойдёт не так. Иногда с проблемой удаётся справится легко, иногда – приходится переустанавливать систему и проходить долгий и мучительный путь восстановления программной среды. 26 Максимально упростить жизнь в этой критической ситуации здорово помогает сетевое хранилище с записями образов программных сред всех имеющихся в доме компьютеров и гаджетов. Современные электронные устройства и операционные системы в большинстве своём позволяют получить файлы, содержащие точный образ программной среды, включающий все настройки, все программы, все актуальные документы и так далее. Вернуть привычное положение дел после системного отказа личного электронного помощника – элементарно. NAS в роли почтового отделения, web-хостинга. Менее распространённые, но всё же актуальные для дома сценарии – это создание на их базе web-сервера для запуска во всемирной сети личного сайта (одиночного блога, онлайнового магазина, стартапа…), почтового сервера или сервера обслуживания камер видеонаблюдения. Организовывать в домашних условиях почтовый сервер может быть полезно, если жители многоквартирного дома организовали свою собственную локальную сеть. Что касается web-сервера на дому, то тут, как нам кажется, мы подходим к грани, отделяющий сценарии частного и корпоративного использования NAS. В связи с этим, пользователю рекомендуется обратить внимание на вычислительную мощность выбираемого для организации webсервера сетевого хранилища. В первую очередь она зависит от технической платформы и архитектуры процессора. 27 Приложение 7 Виды резервного копирования Инкрементальное резервное копирование При инкрементальном резервном копировании копируются только файлы, которые были изменены со времени предыдущего бэкапа. Последующее инкрементальное резервное копирование добавляет только файлы, которые были изменены с момента предыдущего. В среднем инкрементальное резервное копирование занимает меньше времени, так как копируется меньшее количество файлов. Однако процесс восстановления данных занимает больше времени, так как должны быть восстановлены данные последнего полного резервного копирования, плюс данные всех последующих инкрементальных резервных копирований. При этом в отличие от дифференциального копирования, изменившиеся или новые файлы не замещают старые, а добавляются на носитель независимо. Инкрементальное копирование чаще всего производится с помощью утилиты rsync. С его помощью можно сэкономить место в хранилище, если количество изменений за день не очень велико. Если измененные файлы имеют большой размер, то они будут скопированы полностью без замены предыдущих версий. Процесс резервного копирования с помощью rsync можно разделить на следующие шаги: • составляется список файлов на резервируемом сервере и в хранилище, по каждому файлу считываются метаданные (права, время изменения и т.д) или контрольная сумма (при использовании ключа —checksum); • если и по каждому метаданные блоку файлов считается разнятся, контрольная то файл сумма. бьется на блоки Отличающиеся блоки закачиваются в хранилище; • если во время подсчета контрольных сумм или передачи файла в него было внесено изменение, его резервирование повторяется с начала; 28 • по умолчанию rsync передает данные через SSH, а значит каждый блок данных дополнительно шифруется. Rsync можно также запустить как демон и передавать данные без шифрования по его протоколу. Для каждого файла rsync выполняет очень большое количество операций. Если файлов на сервере много или если процессор сильно загружен, то скорость резервного копирования будет существенно снижена. Дифференциальное резервное копирование При дифференциальном резервном который был изменен с момента копировании последнего каждый полного файл, резервного копирования, копируется всякий раз заново. Дифференциальное копирование ускоряет процесс восстановления. Все, что вам необходимо — это последняя полная и последняя дифференциальная резервная копия. Популярность дифференциального резервного копирования растет, так как все копии файлов делаются в определенные моменты времени, что, например, очень важно при заражении вирусами. Дифференциальное резервное копирование осуществляется, например, при помощи такой утилиты, как rdiff-backup. При работе с этой утилитой возникают те же проблемы, что и при инкрементальном резервном копировании. В целом, если при поиске разницы в данных осуществляется полный перебор файлов, проблемы такого рода резервирования аналогичны проблемам с rsync. Полное резервное копирование Полное копирование обычно затрагивает всю вашу систему и все файлы. Еженедельное, ежемесячное и ежеквартальное резервное копирование подразумевает создание полной копии всех данных. Обычно оно выполняется по пятницам или в течение выходных, когда копирование большого объёма данных не влияет на работу организации. Последующие резервные копирования, выполняемые с понедельника по четверг 29 до следующего полного копирования, могут быть дифференциальными или инкрементальными, главным образом для того, чтобы сохранить время и место на носителе. Полное резервное копирование следует проводить по крайней мере еженедельно. В большинстве публикаций по соответствующей тематике рекомендуется полное резервное копирование выполнять один или два раза в неделю, а в остальное время — использовать инкрементальное и дифференциальное. В таких советах есть свой резон. В большинстве случаев полного резервного копирования раз в неделю вполне достаточно. Выполнять его повторно имеет смысл в том случае, если у вас нет возможности на стороне хранилища актуализировать полный бекап и для обеспечения гарантии корректности резервной копии (это может понадобиться, например, в случаях, если вы по тем или иным причинам не доверяете имеющимся у вас скриптам или софту для резервного копирования. Полное резервное копирование на уровне файловой системы Типичный представитель: dump. Утилита создает «дамп» файловой системы. Можно создавать не только полную, но и инкрементальную резервную копию. dump работает с таблицей inode и «понимает» структуру файлов (так, разреженные файлы сжимаются). Создавать дамп работающей файловой системы «глупо и опасно», потому что ФС может изменяться во время создания дампа. Его надо создавать со снапшота (чуть позже мы обсудим особенности работы со снапшотами более подробно), отмонтированной или замороженной ФС. Такая схема так же зависит от количества файлов, и время её выполнения будет расти с ростом количества данных на диске. В то же время у dump скорость работы выше, чем у rsync. 30 В случае, если требуется возобновить не резервную копию целиком, а, например, только пару случайно испорченных файлов), извлечение таких файлов утилитой restore может занять слишком много времени. Полное резервное копирование на уровне устройств Mdraid и DRBD. Фактически настраивается RAID1 с диском/рейдом на сервере и сетевым диском, и время от времени (по частоте выполнения бекапов) дополнительный диск синхронизируется с основным диском/рейдом на сервере. Самый большой плюс — скорость. Длительность выполнения синхронизации зависит только от количества внесенных за последний день изменений. Такая система резервного копирования используется довольно часто, но мало кто отдает себе отчет в том, что полученные с ее помощью резервные копии могут быть недееспособными, и вот почему. Когда синхронизация дисков завершена, диск с резервной копией отключается. Если у нас, например, запущена СУБД, которая пишет данные на локальный диск порциями, храня промежуточные данные в кэше, нет никакой гарантии того, что они вообще попадут на бэкапный диск. В лучшем случае мы потеряем часть изменяемых данных. Поэтому такие бэкапы вряд ли стоит считать надежными. LVM. Снапшоты — замечательный инстумент для создания консистентных бекапов. Перед созданием снапшота необходимо сбросить кеш ФС и вашего ПО на дисковую подсистему. Например, с одним MySQL это будет выглядеть так: $ sudo mysql -e 'FLUSH TABLES WITH READ LOCK;' $ sudo mysql -e 'FLUSH LOGS;' $ sudo sync $ sudo lvcreate -s -p r -l100%free -n %s_backup /dev/vg/%s $ sudo mysql -e 'UNLOCK TABLES;' 31 Далее можно копировать снапшот в хранилище. Главное — следить за тем, чтобы во время копирования снапшот не самоуничтожился и не забывать, что при создании снапшота скорость записи упадет в разы. Бекапы СУБД можно создать отдельно (например, используя бинарные логи), устранив тем самым простой на время сброса кеша. А можно создавать дампы в хранилище, запустив там инстанс СУБД. Резервное копирование разных СУБД — это тема для отдельных публикаций. Копировать снапшот можно с использованием докачки (например, rsync с патчем для копирования bugzilla.redhat.com/show_bug.cgi?id=494313), можно блочных по устройств блокам и без шифрования (netcat, ftp). Можно передавать блоки в сжатом виде и монтировать их в хранилище при помощи AVFS, и примонтировать на сервере раздел с бекапами по SMB. Сжатие устраняет проблемы скорости передачи, забития канала и места в хранилище. Но, однако если вы не используете AVFS в хранилище, то на восстановление только части данных у вас уйдет много времени. Если будете использовать AVFS, то столкнетесь с её «сыростью». Альтернатива сжатию блоками — squashfs: можно подмонтировать, к примеру, по Samba раздел к серверу и выполнить mksquashfs, но эта утилита так же работает с файлами, т.е. зависит от их количества. К тому же при создании squashfs тратится достаточно много ОЗУ, что может легко привести к вызову oom-killer. 32 Приложение 8 Проприета́рное ПО Для больших сетей: • eSilo; • Asigra Agentless Multisite Backup; • Acronis Backup & Recovery; • BRU Server; • CA ARCserve Backup; • CA ARCserve D2D; • CommVault Systems Simpana (ex. Galaxy); • EMC Legato Networker; • HP Data Protector; • Lucid LBackup; • IBM Tivoli Storage Manager (TSM); • Microsoft Data Protection Manager; • Paragon Drive Backup Enterprise Server Edition • StorageCraft ShadowProtect; • Syncsort Backup Express; • Vembu — StoreGrid; • Symantec NetBackup; • Symantec Ghost™; • Veeam Backup & Replication - продукт для среды VMware и Hyper-V. D2D бэкап с возможностью запуска ВМ из резервных копий; • NetApp. Для малых сетей: • BACKUPRENT - резервное копирование файлов, баз данных Microsoft SQL, баз данных 1С Предприятие. Резервные копии хранятся в облачном хранилище. Поддерживаются только ОС семейства Windows; 33 • Exiland Backup - резервное копирование файлов и синхронизация по сети, FTP, между ПК и внешними носителями. Для дома и офиса; • Acronis Backup & Recovery; • CA ARCserve Backup; • CA ARCserve D2D; • CommVault Systems Simpana; • EMC Retrospect; • E-data-SOS; • Handy Backup Server — приложение для централизованного бэкапа в корпоративных сетях малого и среднего бизнеса; • Paragon Drive Backup Server Edition — программное решение для защиты данных и операционных систем серверов; • StorageCraft ShadowProtect; • Symantec Backup Exec; • Thinking SAFE Backup2; • хранитель. Для одиночных систем: • BACKUPRENT - резервное копирование файлов, баз данных Microsoft SQL, баз данных 1С Предприятие. Резервные копии хранятся облачном хранилище. Поддерживаются только ОС семейства Windows; • Cloud Backup Robot — программа для резервного копирования файлов, папок и SQL баз данных. Умеет сохранять резервные копии в локальной / сетевой папке, на FTP и в облаке (Dropbox, Google Drive и др.); • @MAX SyncUp — программа для инкрементального резервного копирования файлов и синхронизации данных; • Comodo BackUp; • Argentum Backup — быстрая и минималистичная программа для резервного копирования под Windows; • AOMEI Backupper; 34 • Acronis True Image; • NTBackup — утилита для резервного копирования данных поставляемая вместе с Windows NT; • .Mac Backup; • Backup Premium (shareware) — создаёт резервные копии данных через SFTP, FTP SSL\TLS под Windows; • DarkData InterVault; • Erlios Backup; • EMC Retrospect Express; • Handy Backup — программа для резервного копирования, восстановления и синхронизации данных, выполняет пофайловое копирование, создает образ жесткого диска; • IBM Aggregate Backup And Recovery System; • Macrium Reflect — бесплатная программа резервного копирования для Windows NT; • net-runna ReStor; • Paragon Drive Backup Professional, Workstation, Personal Edition — простая и эффективная защита рабочих станций и ноутбуков; • PicoBackup — инструмент для создания резервных копий под Windows, использующий PKzip; • Roxio Toast; • SmartSync Pro; • Symantec System Recovery; • Time Machine от Apple; • ViceVersa PRO; • Nero BackItUp — входит в состав пакета Nero, позволяет делать резервные копии данных как на HDD, так и на оптических носителях; • Windows System Recovery — инструмент от Microsoft, компонент ОС Windows Vista; 35 • Visual Backup Manager; • Ghost™ от Symantec; • Backup4all; • AKGBackup (freeware) — написанное на Java ПО для резервного копирования, поддерживающее сжатие данных; Cobian Backup (freeware) — поддерживает работу через FTP, сжатие, • шифрование, инкрементальные и дифференциальные резервные копии, работает под Windows; • Super Flexible File Synchronizer. ПО для управления службами резервного копирования. Средства управления резервным копированием предоставляются следующими компаниями и разработчиками. Управлением резервным копированием может заниматься как собственный специалист (организация), так и внешний приглашённый специалист (организация). Невозможно однозначно сказать, что лучше, так как у обеих политик есть как достоинства, так и недостатки: • Ahsay — OBS Offsite Backup Server/OBM Online Backup Manager; • BackupRight; • Backup Technology; • Backup Systems P/L; • BitLeap; • Blacksun.ca; • CA ARCserve Backup; • Carbonite; • CRC Data Protection; • Data Deposit Box; • DataFort Managed Backup Services; • EMC SRDF — Symmetrix Remote Data Facility; • Evault, Inc.; 36 • IBackup; • IPR International; • Iron Mountain; • Lucid Information Systems; • Mozy — непрерывное, неограниченное по размерам резервное копирование. Для подписчиков стоит 4,95 доллара в месяц, либо бесплатно, но размер ограничивается 2 гигабайтами. Только для MS Windows клиентов; • Paragon Remote Management — средство для удаленного управления резервным копированием всего парка ПК в организации; • Simply Offsite online data backup services; • System Recovery; • Xdrive (website); • BACKUPRENT - организация процессов непрерывного резервного копирования с хранением облачном хранилище. Только для MS Windows клиентов. Вне категорий: • Aggregate Backup And Recovery System; • ActiveFailSafe — непрерывная защита данных для MS SQL Server; • AzovSky Version Safe (freeware) — утилита, написанная на Delphi, для создания резервных копий файлов и папок. Поддерживает упаковку в ZIP и 7-Zip; • Computer Associates ARCserve Backup; • Langmeier Backup; • Mimosa Systems NearPoint; • Mozy Online Backup Remote File Backup Service; • Paragon Hard Disk Manager — комплексное средство для обслуживания жесткого диска персонального компьютера, сочетает в себе функциональность средства для резервного копирования и восстановления данных с дисковыми утилитами (работа с разделами, дефрагментация, восстановление данных и т п.); • Unitrends Data Protection Unit; 37 • nnBackup — консольная утилита для резервного копирования и синхронизации, поддерживает обработку списка файлов, архивирование данных по алгоритмам gz или zip, удаление неактуальных данных из резервной копии. 38