Вычислительная инфраструктура будущего

ЛЕКЦИЯ 2 Node Node Пользователь (корпорация) Планировщики, диспетчеры, менеджеры ресурсов, промежуточные хранилища Пользователь (выч. ресурс) Node Node Node Node Node ... Node Узлы для решения задач группы 2 Пользователь (человек) Узлы для решения задач группы 1 1.2. Вычислительная инфраструктура будущего Большую роль в развитии распределённых вычислительных систем сыграла появившаяся в 90-е годы 20-го века концепция Gridметакомпьютинга. В 1999 году вышла интересная статья В. Коваленко и Д. Корягина – «Вычислительная инфраструктура будущего» (http://citforum.ru/hardware/articles/futurvich.shtml). Эта статья предлагается для изучения в качестве источника основного материала данной лекции. Дополнительно предлагается познакомиться с возможными схемами организации упоминаемых в статье трёх форм метакомпьютеров. Узлы для решения задач группы 3 Рис. 1.5. Настольный суперкомпьютер (Удалённые сервисы) На рис. 1.5 показана возможная реализация настольного суперкомпьютера. В этом случае имеется пользователь: человек за настольным компьютером (или планшетом, или смартфоном); корпорация; некий вычислительный ресурс. Пользователь формирует и отправляет в глобальную сеть свою задачу. В глобальной сети имеются отдельные ресурсы, назовём их узлы (Node), которые могут решать задачи пользователей. Узлы можно группировать в зависимости от типа пользовательских задач, которые они могут решать лучшим образом. Каждая группа узлов ориентирована на задачи определённого типа, при этом каждый узел может быть включен в одну или несколько групп. В глобальной сети, за мониторинг – отслеживание наличия, возможностей, подключения, состояния и готовности узлов отвечают менеджеры ресурсов. Они извещают обо всём этом планировщиков. Планировщики получают от пользователей задачи, выбирают узлы для их выполнения, определяют промежуточные хранилища для программных кодов задач, исходных данных для этих задач и результатов их выполнения, отправляют диспетчерам указания к выполнению задач. В работу диспетчеров входит непосредственное управление выполнением пользовательской задачи на узлах и управление потоками входных, выходных и промежуточных данных. Пользователь БД результатов экспериментов Пользователь Сервер начальной обработки Пользователь Сервер представл. результатов Физические эксперименты р рве ез-в е С .р д пре Пользователь Система фильтрации, систематизации и базового хранения результатов Временное хранение База алгоритмов обработки результатов экспериментов Пользователь Система детальной обработки результатов Пользователь Рис. 1.6. Распределённый инструментальный комплекс На рис. 1.6 показан пример организации распределённого инструментального комплекса. Данный инструментальный комплекс предназначен для обработки результатов сложных научных физических экспериментов. Предположим, что в некоторой стране имеется сложный научно-экспериментальный центр, например, андронный коллайдер в ЦЕРН (Швейцария). Результатами экспериментов пользуются физики в разных стран мира, на всех континентах. Пользователей (физиков или их коллективы) интересуют результаты разных экспериментов. При этом, в каждом отдельно взятом эксперименте каждого пользователя интересует свой набор результатов, специально по требованию обработанных и представленных. В научно-экспериментальном центре проводятся физические эксперименты, генерирующие большой объём необработанной информации об их результатах. Эти результаты поступают на сервер начальной обработки, который фильтрует это объём информации по некоторым критериям, чтобы в «базу данных результатов экспериментов» были сохранены именно результаты, годные для дальнейшей обработки. Далее, в некотором порядке, результаты поступают в систему детальной обработки результатов, которая, на основе имеющихся алгоритмов, обрабатывает результаты экспериментов и системе фильтрации, систематизации и базового хранения. Вообще-то систем детальной обработки результатов экспериментов может быть несколько. Каждая из них может находиться в научном центре, какой либо страны мира, который специализируется на детальной и качественной научной обработки в своей области знаний. Система фильтрации, систематизации и базового хранения результатов содержит систематизированную базу данных, откуда, по требованиям конечных пользователей извлекаются нужные обработанные результаты, которые через специальные серверы представления результатов подаются в готовом виде и объёме каждому пользователю. Кроме вышеупомянутых ресурсов, в работе системы принимают участие средства обеспечения коммуникаций в глобальной сети. Ввиду больших объёмов информации, они играют очень важную роль. На рис. 1.6 они условно обозначены прямоугольниками в облаке глобальных коммуникаций. Пользователь (корпорация) Пользователь (выч. ресурс) Средства обеспечения коммуникаций, промеж. хранилища Планировщики, диспетчеры, менеджеры ресурсов Node Node Node Node Node Node Node ... Вычислительные узлы (для параллельных вычислений) Пользователь (человек) Node Сервисные узлы вычислений (БД, библ. програм, визуализация и пр.) Рис. 1.7. Сетевой суперкомпьютер На рис. 1.7 представлен пример сетевого суперкомпьютера для распределённых параллельных вычислений. Пользователи создают параллельные программы для решения сложных и продолжительных вычислительных задач и посылают их в сеть для выполнения. Задача, находящихся в глобальной сети планировщиков, диспетчеров и менеджеров ресурсов, заключается:  в оценке технических и функциональных возможностей имеющихся, доступных и свободных на данный момент вычислительных узлов;  в оценке наличия, длины и реальной пропускной способности каналов связи в глобальной сети;  в конечном выборе узлов, которые будут участвовать в выполнении каждой параллельной программы и формировании из них некоторой связанной совокупности узлов;  в распределении частей параллельных программ по узлам;  в распределении исходных данных для вычислений;  в планировании организации передачи промежуточных данных между узлами и их возможного хранения;  в организации сбора результатов вычислений, для последующего представления пользователям. За непосредственное управление передачей и хранением информации во время выполнения пользовательских программ отвечают распределённые по глобальной сети средства обеспечения коммуникаций и промежуточные хранилища. Для выполнения своих функций, сетевому суперкомпьютеру нужны специальные сервисные узлы. Эти узлы участвуют в подготовке пользовательских параллельных программ к выполнению. Они могут осуществлять компиляцию программ или их частей под конкретные конечные аппаратные и программные платформы вычислительных узлов. Они также могут хранить и подключать к программам необходимые статические или динамические функции и модули. Кроме это, они могут участвовать в отображении (визуализации) процесса вычислений и его результатов.