Параллельные вычислительные системы — это электронные вычислительные машины, а также программные системы, выполняющие различными способом параллельную работу с данными на комплексе вычислительных узлов.
Основные способы классификации систем
При разработке параллельных вычислительных систем перед проектировщиками возможна постановка следующих первоочередных задач:
- Повысить производительность.
- Снизить себестоимость (или повысить уровень соотношения производительность/стоимость).
- Повысить надёжность работы системы.
Параллельные вычислительные машины и системы можно классифицировать по разным факторам. Чаще всего используют следующие методы классификации:
По методу взаимодействия между командами и информационными данными. Этот способ классификации был выдвинут американским специалистом Флинном в семидесятых годах прошлого века и применяется вплоть до сегодняшнего дня. Предлагалось поделить все вычислительные системы на четыре группы:
- ОКОД (SISD), одиночный поток команд/одиночный поток данных. К ним относятся вычислительные системы и электронные вычислительные машины общепринятого последовательного действия. Для этого типа параллельная работа может быть реализована как многозадачная переработка данных (например, использование разделения времени). То есть в любой текущий временной отрезок вычислительным устройством обрабатывается только одна задача.
- ОКМД (SIMD), одиночный поток команд/множество потоков данных. Эту структуру используют векторные и матричные вычислительные системы, которые выполняют специализированные векторные и матричные процедуры как параллельные операции для различных потоков информационных данных. Под потоками информационных данных понимается последовательный набор элементов векторов (если это векторная система) или набор строк матрицы (если это матричная система). На текущий момент системы ОКИД выполняются в системах команд процессоров общего применения.
- МКОД (MISD), множество потоков команд/одиночный поток данных. Эта структура существует в вычислительных системах типа конвейер, в которых данные одного потока посылаются на различные уровни переработки в различных процессорных элементах или операционных устройствах. Архитектурные построения по типу ОКМД и МКМД применяются при проектировании мощных систем различной степени сложности, то есть от несложных конвейерных вычислительных систем до сверх сложных электронных вычислительных машин, использующих векторные и параллельные процессоры.
- МКМД (MIMD), множество потоков команд/множество потоков данных. Это архитектурное построение применяется в вычислительных системах самой высокой производительности, где большой набор процессорных элементов, реализующих различные процессы вычислений (подзадач), выполняют коммуникацию с потоками данных и команд по различным маршрутам. Существуют также пограничные методы, которые находятся на границах, перечисленных выше групп.
Классификация по потоку управления:
- Системы, которые управляются потоком команд.
- Системы, которые управляются потоком данных.
Классификация по типу использования памяти:
- Системы с общей памятью («подразделяемая память»).
- Системы с локализованной памятью для отдельных процессоров («распределённая память»).
Классификация по методу обмена данными между процессорами:
Коммутация посредством общей разделяемой памяти. Обмен данными передачей сообщений.
Классификация по применяемому виду параллелизма:
- Система с естественным или векторным параллелизмом (применяется в векторных и матричных системах).
- Система с независимым параллелизмом ветвей (применяется в симметричных системах с большим числом процессоров).
- Система с мелкозернистым параллелизмом. Применяется в многопроцессорных системах вида MIMD.
- Система с параллелизмом между смежными операциями. Применяется в электронных вычислительных машинах с длинными командными словами.
Классификация по методу загрузки информационных данных:
- Система с загрузкой данных последовательно.
- Система с загрузкой данных параллельно.
- Система с комбинированной загрузкой (последовательно-параллельной).
Классификация по типу коммутационных систем:
- Система с полноформатными связями (все процессора имеют каналы связи между собой).
- Система с отдельным коммутатором связи.
- Система, которая имеет общую шину данных.
- Система с линейным или матричным массивом (связь между собой имеют только соседние процессоры).
- Система гибер кубической структуры (связь между собой имеют соседние процессорные элементы, но структура массива многомерная).
- Система с параллельными машинами и с переменной структурой связей.
- Система с программируемой коммутацией.
Классификация по типу коммутационных систем:
- Система с цепью (сетью) коммутации. С одним уровнем коммутации.
- Система с коммутацией кластерами. Несколько групп вычислительных систем соединяются при помощи единой коммутационной системы, но внутри отдельных групп есть своя система коммутации).
Классификация по уровню распределения вычислительных систем:
- Вычислительные системы локального уровня.
- Вычислительные комплексы.
Параллельные и векторные вычислительные системы
К вычислительным системам вида SIMD относятся ассоциативные и векторные вычислительные системы. Ассоциативные системы построены на основе использования ассоциативной памяти. Ассоциативная память характеризуется использованием аппаратного способа нахождения данных по заданному признаку адреса и по разным уровням сходства, а также применением так называемой вертикальной обработки.
Векторными считаются системы, которые включают в свой набор команд специализированные векторные операции, например, матричное и векторное суммирование, произведение вектора на матрицу и так далее.
