Облачные технологии

ЛЕКЦИЯ ОБЛАЧНЫЕ ТЕХНОЛОГИИ Обзор облачных технологий. Новизна концепции облачных вычислений. Преимущества облачных вычислений. Риски и проблемы облачных вычислений. Перспективы облачных вычислений. Заметки о BIG DATA. Технологии BD, влияющие на информированность решающего центра. Реализация современных схем принятия решений на основе платформ BIG DATA в общем случае: сборка инструмента из конструктора платформы. 1 1 ОБЗОР ОБЛАЧНЫХ ТЕХНОЛОГИЙ Начиная с 2009 года, облачные вычисления привлекли внимание практически всех действующих игроков ИТ- отрасли, поставщиков и независимых экспертов, стали «хитом» последних лет. Термин «cloud computing» используется уже с конца прошлого века, но как устоявшееся понятие, объединяющее технологии, созданные в последнее десятилетие, он стал активно употребляться всего несколько лет назад. Приведем несколько определений. «Сloud computing — это модель, предназначенная для предоставления удобного сетевого доступа по запросу к разделяемому набору конфигурируемых ИКТ-ресурсов (таких как сети, серверы, хранилища, приложения и сервисы), которые могут быть быстро предоставлены при минимальных управленческих усилиях и минимальном взаимодействии с поставщиком услуг». NIST (Национальный институт стандартов и технологий США). «Cloud Computing — это стиль разработки и использования компьютерных технологий (вычислений), при котором динамично масштабируемые ресурсы предоставляются через Интернет как сервис». «Cloud Computing — это подход к вычислениям, при котором масштабируемые и эластичные ИТ - мощности предоставляются заказчикам как сервисы через Интернет». Надо сказать, что буквальный перевод термина «Сloud сomputing» на русский язык как «облачные вычисления» далеко не все эксперты считают удачным. Тем не менее, именно он сейчас наиболее распространен и именно его мы и будем использовать в дальнейшем. Согласно Национальному институту стандартов и технологий США (NIST) облачные вычисления выделяются от других видов услуг, в том числе предоставляемых через Интернет, пятью существенными характеристиками. 2 Чтобы считаться «облачными», услуги должны быть внедрены на инфраструктуре, обладающей следующими ключевыми характеристиками: а) выделение ресурсов пользователю в режиме самообслуживания (on-demand self-service); б) широкополосный доступ к ресурсам из любой точки сети (broad network access); в) организация ресурсов в пулы (resource pooling), которые не зависят от местоположения самих ресурсов (location independence); г) быстрая адаптация к увеличению или уменьшению нагрузки (rapid elasticity); д) измеряемый уровень сервиса (measured service). Надо сказать, что как бизнес-модель облачные вычисления стремительно эволюционируют. И на сегодняшний день выделяются три основные (и две вспомогательные) модели продажи и предоставления услуг: − программное обеспечение как услуга (Software as a Service, SaaS) — предоставление доступа через Интернет к программному обеспечению, которое принадлежит поставщику и управляется им (примеры: Salesforce.com, Google); − платформа как услуга (Platformas a Service , PaaS ) — предоставление интегрированной платформы для разработки, тестирования, развертывания и поддержки приложений, которые принадлежат заказчику и управляются им (примеры: Microsoft Azure, Amazon Webservices); − инфраструктура как услуга (Infrastructure as a Service, IaaS) — предоставление компьютерной инфраструктуры (как правило, в форме виртуализации) как услуги, для развертывания на ней инфраструктурных и бизнес- приложений (пример IBM Compute Cloud). 3 Аналитики Gartner предлагают добавить к IaaS/PaaS/SaaS еще несколько вариантов, а именно – информационные сервисы (Information Services) и сервисы процессов (Process Services). Кроме трех вышеприведенных в некоторых случаях выделяют еще две дополнительные модели продажи и предоставления услуг: Рабочее место как услуга (Desktop as a Service, DaaS) — предоставление полностью готового к работе стандартизированного виртуального рабочего места (необходимого для полноценной работы), которое заказчик имеет возможность дополнительно настраивать под свои задачи (модель получившая известность в начале 2000 годов). Оборудование как услуга (Hardware as a Service, HaaS) — сдача в аренду вычислительного оборудования, отличается от IaaS тем, что управление этим оборудованием находится в руках заказчика (эта модель была достаточно распространена ранее, но постепенно будет вытесняться IaaS). На сегодняшний день согласно NIST выделяются четыре модели реализации облачных услуг (см. рис 2): Публичное или внешнее облако (Public cloud) — предоставление услуг через публичный Интернет всем заказчикам. Частное или внутреннее облако (Private cloud) — создание облака в рамках организации и предоставление услуг только в рамках этой организации или выделенным партнерам компании. Гибридное облако (Hybrid cloud) — комбинация из «внутренних» и «внешних» облачных услуг, когда критическая часть инфраструктуры находится в облаке компании, а второстепенные процессы (например, тестирование), могут переноситься в публичные облачные ресурсы. Разделяемое облако ( Communit ycloud ) — специальные публичные облачные инфраструктуры, предназначенные для определенных групп 4 заказчиков, например, для государственных организаций, где обеспечивается соответствие специфическим требованиям этой группы. По оценкам аналитиков, пяти крупнейшим экономикам Европы «облака» принесут в ближайшие годы 763 миллиарда долларов экономии. Но доля публичных облаков в этой сумме мала (25%), основную часть денег принесут именно частные (40%) и гибридные «облака» (35%). Э то связано с тем, что у каждой компании свои, индивидуальные потребности, которые, зачастую, проще получить именно при использовании частных облаков, не прибегая к аутсорсингу. 5 2 НОВИЗНА КОНЦЕПЦИИ ОБЛАЧНЫХ ВЫЧИСЛЕНИЙ Многие подходы и технологии, сегодня вошедшие в понятие облачные вычисления, существовали и раньше. Поэтому важно разобраться, в чем же новизна облачных вычислений. В целом можно выделить три принципиальных момента: 1) новый этап развития технологий. Облачные вычисления — это, прежде всего, набор технологий, который является закономерным этапом в развитии компьютеризации вообще: от мэйнфреймов с терминальным подключением пользователей — через персональные компьютеры и объединение их в корпоративные и глобальные сети — к распределенным сетевым ресурсам с возможностью доступа к ним через различные устройства ввода и обработки информации. 2) новый уровень аутсорсинга ресурсов. Облачные вычисления — это дальнейшее развитие идеологии аутсорсинга ресурсов. В определенном смысле они являются рыночным ответом на систематическую специализацию и усиление роли аутсорсинга в ИТ. Здесь надо отметить, что если посмотреть на историю ИТ, то мы легко увидим, что многие элементы уже были. 3) новая модель предоставления и потребления ИТ-услуг клиентами. Традиционное использование услуг по аренде вычислительных мощностей предполагало глубокое погружение заказчика в технологии и технические детали. В облачных вычислениях пользователи получают некоторую вычислительную услугу, не вникая в то, как она физически реализуется. Средства поддержки предоставляемых заказчику услуг скрыты от него. 6 3 ПРЕИМУЩЕСТВА ОБЛАЧНЫХ ВЫЧИСЛЕНИЙ Облачные вычисления — это долгосрочная тенденция развития ИТ, причем динамика развития облачных вычислений стремительна. По прогнозам аналитиков IDC ожидается колоссальный рост использования облаков в ближайшие пять лет. По данным Gartner на данный момент традиционные ЦОД используются в 75% случаев, а «облачные» варианты — только в 25%. Но ситуация стремительно меняется: к 2015 году традиционные ЦОД будут использоваться только в 40% случаев, остальное будут составлять облачные вычисления. Согласно исследованию компании Forrester Research (2010 г.) 44% CIO мировых компаний считают SaaSприложения очень важным технологическим приоритетом для своих компаний. Облачные вычисления — это новый этап развития ИТ, как со стороны технологий, так и со стороны моделей взаимоотношений поставщика и заказчика. «Облака» — это дополнительный слой на традиционной И Т - инфраструктуре, но при этом при правильном использовании он может дать значительные преимущества: 1) повышение эффективности использования ИТ - инфраструктуры. Сегодня в среднем утилизация серверов оценивается в 20 % . Использование виртуализации позволяет повысить эффективность использования ИТ- инфраструктуры. 2) возможность использования внешних высококвалифицированных ресурсов и экспертизы. В ситуации постоянного удорожания квалифицированных кадров единственный выход — использовать внешнюю квалифицированную экспертизу. 3) экономия происходит не только за счет зарплат квалифицированных сотрудников. 7 В случае облачных вычислений мы используем внешнюю экспертизу, а это не только персонал, но процессы и инструменты поддержки совместной работы специалистов. 4) повышение гибкости ИТ. Облачные вычисления позволяют упростить задачи управления ИТ. Возникает возможность динамически приобретать и легко отказываться от ИТ - ресурсов. 5) увеличение скорости развертывания новых ИТ- систем. Облачные вычисления устраняют долгий и многоэтапный процесс строительства новых ЦОД, покупки новых ИТ-ресурсов, внедрения ИТсистем и т.д. Облачные технологии обещают, что требуемые ресурсы будут предоставлены намного быстрее. 6) снижение затрат на ИТ. Учитывая неравномерность загрузки ИТ - ресурсов, большинству компаний приходится приобретать ИТ- ресурсы с запасом. 7) изменение схемы приобретения ИТ - активов, перевод затрат на ИТ - активы из CAPEX в OPEX. Это уже происходит в последние несколько лет путем роста использования механизмов аренды и аутсорсинга ИТ-ресурсов и распространение облачных вычислений значительно ускорит этот процесс. 8) фокусировка на основном бизнесе. Использование комплексных облачных услуг, например, SaaS, позволяет фокусировать ресурсы и усилия на более важных проектах, чем внедрение новых ИТ-систем. 8 4 РИСКИ И ПРОБЛЕМЫ ОБЛАЧНЫХ ВЫЧИСЛЕНИЙ Облачные вычисления — это не «волшебное облако» и они несут с собой дополнительные риски и проблемы: 1) безопасность и приватность данных. Это проблема №1, одна из самых больших и сложных проблем облачных вычислений. Согласно исследованию, Forrester Research 65% CIO мировых компаний назвали безопасность важнейшей проблемой при использовании SaaS. 2) недостаточный уровень ответственности провайдеров для бизнес-критических задач. На сегодняшний день применение облачных вычислений достаточно ограничено. Многие эксперты считают, что сегодня «облака» не та технология, которую можно использовать для бизнес-критических задач. 3) отсутствие стандартизации услуг. На сегодня предложения поставщиков даже простейших сервисов практически не стандартизованы и трудно сравнимы. Мы находимся на ранней стадии развития и то, что сейчас называют облачными вычислениями, представляет собой инфраструктурные сервисы, измеряемые в упомянутых мегабайтах и мегагерцах, а также единицах пропускной способности и т. д. 4) интеграция данных и процессов, как с внутренними корпоративными системами, так и с облачными сервисами других поставщиков. Проблемы интеграции стояли всегда, но с использованием облачных вычислений они усиливаются. Можно выделить следующие проблемы на границе локальных и облачных приложений: − как первоначально передать данные в облачное приложение; − как синхронизировать данные между приложениями; − как интегрировать облачные и традиционные приложения в единую ИС; 9 10 5) широкополосный доступ к услугам. Широкополосный доступ к услугам — это одна из пяти ключевых характеристик облачных вычислений и одновременно потенциальная проблема. Невозможность получения достаточной полосы пропускания в регионах нашей огромной страны, часть экспертов считает серьезным тормозом на пути широкого распространения облачных вычислений в России. А падение скорости в процессе работы необходимо учитывать при оценке «облачных» альтернатив традиционным вариантам. 6) усложнение процессов контроля поставщика со стороны CIO. Использование облачных услуг сопровождается повышением уровня ответственности поставщика, за предоставляемые им сервисы. Особенно это важно при использовании облачных вычислений для критически важных бизнес-задач. Но надо помнить, что повышение уровня ответственности поставщика ведет и к повышению ответственности CIO по контролю и мониторингу его работы. Таблица 1 - Целесообразность передачи систем в «облака» 11 5 ПЕРСПЕКТИВЫ ОБЛАЧНЫХ ВЫЧИСЛЕНИЙ Облачные вычисления — это большой, динамично развивающийся комплекс различных моделей и технологий. Сейчас мы находимся только в начале становления этого феномена. 1) дальнейшее технологическое развитие. Облачные вычисления — это направление развития, «тренд» , а не завершившие свое развитие модели и технологии. 2) стандартизация. Технологии переходят в зрелую стадию, когда они становятся стандартизированными. Сейчас это далеко не так. 3) превращение ресурса в услугу. Появление облачных вычислений — это отражение глобальной тенденции перехода к аутсорсингу и внешним сервисам. До сих пор ИТ- отрасль ориентировалась на применение своей продукции потребителями посредством покупки всего оборудования или временных прав на использование ПО. 4) новые модели отношений заказчика и поставщика. Облачные вычисления, как форма аутсорсинга активно влияют на зрелость сервисных отношений между заказчиком и поставщиком ИТ-услуг. 12 6 ЗАМЕТКИ О BIG DATA В настоящее время мы являемся свидетелями эволюции коммерческих предложений в области инструментария создания аналитических систем предприятий: от частных решений, например, по визуализации аналитических результатов, к представлению интегрированных платформ с полной функциональностью для проведения аналитики по любым типам данных в ранее недоступных объемах. Например, платформы: IBM Big Data либо IDOL 10 от HP. Эволюции от ИТ-станков к ИТ-заводам. Однако, большинство рыночных предложений однобоко: предлагается только анализ, а синтез по умолчанию остается за человеком. В то же время никого уже не удивляет, что до 80 процентов операций на биржевых торгах проходит без участия человека: решения о покупкепродаже принимаются ИТ-роботами. Суть действительно происходящей сейчас на наших глазах цифровой революции состоит не только в том, что для принятия конкурентных решений анализируются ранее невиданные объемы ранее не доступных для анализа типов данных, но также и в том, что во все большей степени качество решений машин начинает превосходить качество решений людей. Это надо осознать, и к этому надо готовиться, чтобы не оказаться в числе проигравших. Совокупность технологий, стоящих за подготавливаемой всем ходом технического прогресса цифровой революции сейчас условно и называется: Big Data (BD). 13 Немного истории вопроса: как это происходит Традиционная схема принятия решений Технологии выбора наилучших из возможных решений отработаны и не менялись на протяжении веков. Они подразумевали и подразумевают использование двух групп профессионально подготовленных людей: − принятие с одной стороны, отвечающих за сбор информации, влияющей на решения (разведчики, аудиторы, бухгалтеры, следователи, диагносты, социологи); − а с другой стороны, отвечающих за подготовку и принятие вариантов решения на основе собранной информации и исторического опыта принятия аналогичных решений (советники, аналитики, эксперты, оракулы, астрологи, провидцы). Названные профессиональные группы, по сути, обеспечивали реализацию трех (в современной интерпретации) бизнес- процессов: П1. Поиск и первичную фиксацию искомой информации (добычу информации); П2. Доставку информации до места ее использования; П3. Обработку информации и подготовку на ее основе вариантов принятия решения. Само же решение принимается руководителем - лицом или органом, реализующего две основные функции: 1) определение своей информационной потребности для принятия решения. То есть, по сути, выдачи задания остальным участникам процесса на предоставление необходимой для принятия решения информации; 2) принятие решения на основе полученной информации. 14 Эволюция базовых технологий в традиционной схеме принятия решений: предпосылки цифровой революции Появление в середине XX века компьютеров (нового элемента в многовековой истории принятия решений), последовавшее появление сетей, обеспечивающих практически мгновенную доставку зафиксированной информации к месту обработки, а затем и цифровых средств первичной фиксации информации (видеокамеры, радиометки, цифровые телефоны, мобильные устройства, персональные компьютеры), фиксирующих информацию в реальном времени завершило формирование необходимых условий для комплексной цифровой автоматизации в совокупности всех трех бизнес-процессов подготовки и принятия решений: П1, П2, П3. На наших глазах происходят быстрые количественные изменения во всех трех бизнес-процессах традиционной схемы принятия решений: П1 - возрастают объемы и множатся типы доступной для анализа информации; П2 - возрастают возможности цифровых сетей по доставке зафиксированной информации к местам обработки, как по географическому охвату контролируемых процессов, так и по пропускной способности; П3 - возрастают вычислительные возможности компьютеров по анализу доступной информации, а в последнее время во все возрастающей степени уже и по синтезу окончательных решений. Названные количественные факторы в совокупности приводят к выводу о неизбежности грядущих качественных изменений взрывного порядка в области принятия решений - цифровой революции. Цифровая революция подразумевает получение для компаний участников технологического прорыва - подавляющих конкурентных преимуществ за счет качественно новых технологий подготовки и принятия управленческих решений над компаниями, не применяющими подобных технологий. 15 Новые технологии цифровой революции в области принятия управленческих решений (BIG DATA). Big Data сейчас – одна из самых популярных и обсуждаемых тем в области ИТ. Рынок завален огромным количеством рекламных материалов, и их количество таково, что достаточно трудно рассмотреть за этим «частоколом» важные детали, основные инновационные идеи, в совокупности и определяющие технологический прорыв. Интуитивно ясно, что качество управленческого решения определяется двумя основными факторами: 1) информированностью решающего центра (объемом доступной информации, ее своевременностью и достоверностью); 2) интеллектуальностью решающего центра (умением адекватно воспользоваться доступной информацией - IQ). Попробуем провести выделение определяющих технологий BD раздельно по этим двум базовым факторам. Технологии BD, влияющие на интеллектуальность решающего центра В октябре 2005 года делегация специалистов посетила лабораторию IBM в Цюрихе и была ознакомлена со стратегическим прогнозом развития IT на период 2005 - 2015 годы, написанным Нобелевскими лауреатами. Суть прогноза состояла в том, что к 2015 году компьютеры будут принимать лучшие, по сравнению с человеческими, решения во многих областях человеческой деятельности: банковской деятельности, медицине, экономике, биржевых и иных операциях. Прогноз основывается на общеизвестной тенденции возрастания производительностей компьютеров в геометрической прогрессии (в два раза каждые 2 года - правило Мура). С соответствующей тенденцией возрастания возможных объемов хранения. 16 В ходе цифровой революции борьба за повышение интеллектуальности решающего центра приводит и согласно прогнозам будет во все возрастающей степени приводить к замещению человека машиной при принятии решений. От аналитических к экспертно- решающим системам. Специализированные ускорители обработки аналитических запросов к реляционным базам данных: скорая помощь аналитикам (людям и роботам) Цифровая Реальность, в которой и ведется интеллектуальная борьба за выживание, быстро меняется во времени. По Дарвину следует, что чем быстрее участники борьбы будут принимать адекватные изменению Реальности решения, тем выше их шансы на победу в конкурентной борьбе. Если обратиться к традиционной схеме принятия решений (рис. 1), то очевидно, что ускорять следует исполнение всех трех бизнес процессов, предшествующих принятию Решения: П1, П2, П3. Ускорители обработки запросов предназначены для ускорения процесса П3 - аналитической обработки накопленной информации с целью подготовки и оценки последствий различных вариантов решений. Суть проблемы, на решение которой ориентированы ускорители, состоит в следующем. Традиционные ИАС быстро обрабатывают запросы аналитиков к базе в том случае, если структура запросов и объекты поиска в базе заранее известны. То есть, заранее определены: модель данных, логическая и физическая структуры реляционной базы. 17 7 ТЕХНОЛОГИИ BD, ВЛИЯЮЩИЕ НА ИНФОРМИРОВАННОСТЬ РЕШАЮЩЕГО ЦЕНТРА Технологии BD, влияющие на информированность решающего центра Идея BD номер 1. Потоковая обработка (streaming): преодоление «проклятия размерности» при хранении данных Рекомендации по применению потоковой обработки связаны на бизнес-уровне со следующими бизнес-требованиями: 1) огромный объем данных для анализа, поступающий с предельной скоростью; 2) время реакции системы: миллисекунды; 3) любые типы источников. Для описания подобных реалий цифрового мира вводится и новый подход к классификации источников и данных. Источники классифицируются по четырем измерениям вариативности (V4): 1) скорости выдачи информации; 2) объему выдаваемой информации; 3) достоверности выдаваемой информации; 4) способу выдачи информации. И для некоторых типов источников применима только потоковая обработка: запоминать не успеете. Данные же делятся на две категории: 1) данные в покое (уже запомненные); 2) данные в движении. Идея BD номер 2. Обучающиеся системы реального времени. Целью обучения ИТ-систем, несомненно, является улучшение их характеристик по двум базовым факторам, влияющим на качество решен и я: информированности и интеллектуальности ИТ системы. 18 В целом можно сказать, что повышение эффективности выделения полезного сигнала на фоне «шума» при решении задач ИТ на основе адаптивных алгоритмов радикальным образом сказывается на показателях назначения системы в целом. Снижаются требования к необходимому для принятия решения объему вычислений, к объемам памяти. А в ряде случаев (по аналогии с адаптивными системами управления) принятие выигрышных решений вообще не возможно без применения адаптивных систем. Идея BD номер 3. Открыться цифровому миру. В настоящее время большинство предприятий, во всяком случае, в нашей стране, используют при принятии решений аналитические системы, базирующиеся на внутренней информации предприятия. Однако при этом показательной является информация, где классифицируется и оценивается вся информация цифрового мира (1,773 экзабайт в 2011 году) по трем категориям: 1) контент, генерируемый пользователями предприятий: 1, 234 экзабайта; 2) контент, интересующий предприятия: 1,530 экзабайт; 3) доля контента из генерируемого пользователями объема, интересная для предприятий. То есть, из всего полезного контента, обеспечивавшего информированность решающего центра предприятий (1, 530 экзабайт), 1000 экзабайт находится вне предприятий и только 530 экзабайт внутри предприятий. Идея BD номер 4. Свободный адаптивный поиск и добыча информации: на войне как на войне. В предыдущих разделах мы остановились на ключевых технологических идеях BD по работе с информацией цифрового мира: как переварить огромные, ранее недоступные объемы информации в реальном 19 времени, как отфильтровать контент от шума и куда следует обратиться за информацией. 20 8 РЕАЛИЗАЦИЯ СОВРЕМЕННЫХ СХЕМ ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ ПЛАТФОРМ BIG DATA В ОБЩЕМ СЛУЧАЕ: СБОРКА ИНСТРУМЕНТА ИЗ КОНСТРУКТОРА ПЛАТФОРМЫ 8.1 Общие соображения: философия сборки Целью сборки из конструктора платформы BIG DATA является получение на основе стандартных элементов современной схемы принятия решений, обеспечивающей компании конкурентные преимущества. Но поскольку конструкторы (платформы) доступны всем, то все и могут начать собирать одинаковые паровозы по инструкции. 8.2 Что мы будем собирать из конструктора, какое изделие мы собираемся предъявлять на испытания Сегодня задачей является построение и технологическое обеспечение из элементов конструктора современной схемы принятия решений, как минимум превосходящей уже существующую традиционную схему принятия решений вашего предприятия. А как максимум - обладающую конкурентными преимуществам в вашей отрасли бизнеса. 8.3 Заключение: что происходит с Традиционной схемой принятия решений Пришло время выполнить данное в разделе 1 обещание и рассмотреть основные изменения в традиционной схеме решений, порожденные как все возрастающей оцифровкой реальности, так и появлением совокупности технологий Big Data. Процесс принятия решения состоит из: − выбора гипотезы из многих, в наибольшей степени отвечающей имеющимся фактам; − запроса не достающих фактов, подтверждающих гипотезу; 21 − признания гипотезы; − предоставления принятого решения на подтверждение CEO. Целеполагание (объявление области интересов - задание инфопотребности по-старому) - пока остается за человеком: руководителем - на какую тему будем «копаться» в киберпространстве? Разработка и реализация стратегии поиска и получения информации о реальности (функции П1 и П3) остаются за людьми, интегриру ются в одном процессе и концентрируются в креативной команде. Поиск становится свободным (во всем киберпространстве) и итеративным. То есть, как и следовало ожидать, вековые функции руководителя, аналитика, разведчика никуда не делись, просто во все большей степени доля работы средств автоматизации по отношению к доле работ людей возрастает. 8.4 Звено, за которое можно вытащить всю цепь Золотым фондом предприятия в эпоху цифровой революции является коллективный интеллектуальный потенциал креативной команды, реализующей совокупность функций. Именно он в конечном счете определяет две базовые составляющие качества принимаемых решений: информированность и интеллектуальность решающего. И, в конечном счете, конкурентоспособность предприятия. 22