Изучение аппаратного и программного обеспечения персонального компьютер

Наконец, в последнее время появилась  возможность интеграции через Интернет целых организаций. В результате формируются слабо связанные  распределенные вычислительные сетки, или решетки. Такие системы только начинают развиваться, но их потенциал  весьма высок.

Проблемы, присущие многопроцессорным системам с общей памятью, простым и  естественным образом устраняются  в системах с массовым параллелизмом. Компьютеры этого типа представляют собой многопроцессорные системы  с распределенной памятью, в которых  с помощью некоторой коммуникационной среды объединяются однородные вычислительные узлы (рисунок 6).

 

Рисунок 6 - Архитектура систем с распределенной памятью.

 

Каждый  из узлов состоит из одного или  нескольких процессоров, собственной  оперативной памяти, коммуникационного  оборудования, подсистемы ввода/вывода, т.е. обладает всем необходимым для  независимого функционирования. При  этом на каждом узле может функционировать  либо полноценная операционная система (как в системе RS/6000 SP2), либо урезанный  вариант, поддерживающий только базовые  функции ядра, а полноценная ОС работает на специальном управляющем  компьютере (как в системах Cray T3E, nCUBE2).

Процессоры  в таких системах имеют прямой доступ только к своей локальной  памяти. Доступ к памяти других узлов  реализуется обычно с помощью  механизма передачи сообщений. Такая  архитектура вычислительной системы  устраняет одновременно как проблему конфликтов при обращении к памяти, так и проблему когерентности  кэш-памяти. Это дает возможность  практически неограниченного наращивания  числа процессоров в системе, увеличивая тем самым ее производительность.

Успешно функционируют MPP (massive parallel processing, «массивно-параллельная архитектура») системы с сотнями и тысячами процессоров. Производительность наиболее мощных систем достигает 10 триллионов оп/сек (10 Tflops). Важным свойством MPP систем является их высокая степень масштабируемости. В зависимости от вычислительных потребностей для достижения необходимой производительности требуется просто собрать систему с нужным числом узлов.

На практике все, конечно, гораздо сложнее. Устранение одних проблем, как это обычно бывает, порождает другие. Для MPP систем на первый план выходит проблема эффективности  коммуникационной среды. Легко сказать: "Давайте соберем систему из 1000 узлов". Но каким образом соединить  в единое целое такое множество  узлов? Самым простым и наиболее эффективным было бы соединение каждого  процессора с каждым. Но тогда на каждом узле потребовалось бы 999 коммуникационных каналов, желательно двунаправленных. Очевидно, что это нереально. Различные  производители MPP систем использовали разные топологии.

 

1.4.2.2 Топологии систем MPP

 

 В  компьютерах Intel Paragon процессоры образовывали прямоугольную двумерную сетку. Для этого в каждом узле достаточно четырех коммуникационных каналов. В компьютерах Cray T3D/T3E использовалась топология трехмерного тора. Соответственно, в узлах этого компьютера было шесть коммуникационных каналов. Фирма nCUBE использовала в своих компьютерах топологию n-мерного гиперкуба (рисунок 7).

 

 

Рисунок 7 – Топология гиперкуба

 

Каждая  из рассмотренных топологий имеет  свои преимущества и недостатки. Отметим, что при обмене данными между  процессорами, не являющимися ближайшими соседями, происходит трансляция данных через промежуточные узлы. Очевидно, что в узлах должны быть предусмотрены  какие-то аппаратные средства, которые  освобождали бы центральный процессор  от участия в трансляции данных. В последнее время для соединения вычислительных узлов чаще используется иерархическая система высокоскоростных коммутаторов, как это впервые  было реализовано в компьютерах IBM SP2. Такая топология дает возможность  прямого обмена данными между  любыми узлами, без участия в этом промежуточных узлов.

Системы с распределенной памятью идеально подходят для параллельного выполнения независимых программ, поскольку  при этом каждая программа выполняется  на своем узле и никаким образом  не влияет на выполнение других программ. Однако при разработке параллельных программ приходится учитывать более  сложную, чем в SMP системах, организацию  памяти. Оперативная память в MPP системах имеет 3-х уровневую структуру:

1. кэш-память процессора;
2. локальная оперативная память узла;
3. оперативная память других узлов.

При этом отсутствует возможность прямого  доступа к данным, расположенным  в других узлах. Для их использования  эти данные должны быть предварительно переданы в тот узел, который в данный момент в них нуждается. Это значительно усложняет программирование. Кроме того, обмены данными между узлами выполняются значительно медленнее, чем обработка данных в локальной оперативной памяти узлов. Поэтому написание эффективных параллельных программ для таких компьютеров представляет собой более сложную задачу, чем для SMP систем.

 

3. Кластерные системы

1.4.3.1 Основные виды кластеров

 

Один из первых архитекторов кластерной технологии Грегори Пфистер (Gregory F. Pfister) дал кластеру следующее определение: «Кластер — это разновидность параллельной или распределённой системы, которая:

• состоит из нескольких связанных между собой компьютеров;
• используется как единый, унифицированный компьютерный ресурс».

Обычно  различают следующие основные виды кластеров:

- отказоустойчивые кластеры (High-availability clusters, HA, кластеры высокой доступности);

- кластеры с балансировкой нагрузки (Load balancing clusters), вычислительные кластеры (Computing clusters);

- GRID- (РИВС-)-системы. В настоящее время распределенную информационно-вычислительную среду (РИВС) принято называть GRID (вычислительная решетка).  Распределенная информационно-вычислительная среда состоит, как правило, из разных аппаратно-программных платформ, содержит компьютеры разных классов, в том числе персональные компьютеры, рабочие станции, мейнфреймы, суперЭВМ.

Кластерные  технологии стали логическим продолжением развития идей, заложенных в архитектуре MPP систем. Если процессорный модуль в MPP системе представляет собой законченную  вычислительную систему, то следующий  шаг подсказывает элементарная логика: использовать в качестве таких вычислительных узлов обычные серийно выпускаемые компьютеры. Развитие коммуникационных технологий, а именно, появление высокоскоростного сетевого оборудования и специального программного обеспечения, такого как система MPI, реализующего механизм передачи сообщений над стандартными сетевыми протоколами, сделали кластерные технологии общедоступными. Сегодня не составляет большого труда создать небольшую кластерную систему, типичная схема которой представлена на рисунке 8, объединив вычислительные мощности компьютеров отдельной лаборатории или учебного класса.

 

 

Рисунок 8 – Кластерная система

 

1.4.3.2 Преимущества кластерной организации ЭВМ

 

• Абсолютная масштабируемость. Возможно создание больших кластеров, превосходящих по вычислительной мощности даже самые производительные одиночные компьютеры. Кластер в состоянии содержать десятки узлов, каждый из которых представляет собой мультипроцессор.
• Наращиваемая масштабируемость. Кластер строится так, что его можно наращивать, добавляя новые узлы небольшими порциями. Таким образом, пользователь может начать с умеренной системы, расширяя ее по мере необходимости.
• Высокий коэффициент готовности. Поскольку каждый узел кластера — самостоятельная ВМ или ВС, отказ одного из узлов не приводит к потере работоспособности кластера. Во многих системах отказоустойчивость автоматически поддерживается программным обеспечением.
• Превосходное соотношение цена/производительность. Кластер любой производительности можно создать, соединяя стандартные «строительные блоки», при этом его стоимость будет ниже, чем у одиночной ВМ с эквивалентной вычислительной мощностью.

Привлекательной чертой кластерных технологий является то, что они позволяют для достижения необходимой производительности объединять в единые вычислительные системы  компьютеры самого разного типа, начиная  от персональных компьютеров и заканчивая мощными суперкомпьютерами. Широкое  распространение кластерные технологии получили как средство создания систем суперкомпьютерного класса из составных  частей массового производства, что  значительно удешевляет стоимость  вычислительной системы. В частности, одним из первых был реализован проект COCOA, в котором на базе 25 двухпроцессорных персональных компьютеров общей  стоимостью порядка $100000 была создана  система с производительностью, эквивалентной 48-процессорному Cray T3D стоимостью в несколько миллионов долларов США.

Конечно, о полной эквивалентности этих систем говорить не приходится. Производительность систем с распределенной памятью  очень сильно зависит от производительности коммуникационной среды. Коммуникационную среду можно достаточно полно  охарактеризовать двумя параметрами: латентностью - временем задержки при посылке сообщения, и пропускной способностью - скоростью передачи информации. Например, для компьютера Cray T3D эти параметры составляют соответственно 1 мкс и 480 Мб/сек, а для кластера, в котором в качестве коммуникационной среды использована сеть Fast Ethernet, 100 мкс и 10 Мб/сек. Это отчасти объясняет очень высокую стоимость суперкомпьютеров. При таких параметрах, как у рассматриваемого кластера, найдется не так много задач, которые могут эффективно решаться на достаточно большом числе процессоров.

Если  говорить кратко, то кластер - это связанный набор полноценных компьютеров, используемый в качестве единого вычислительного ресурса. Преимущества кластерной системы перед набором независимых компьютеров очевидны. Во-первых, разработано множество диспетчерских систем пакетной обработки заданий, позволяющих послать задание на обработку кластеру в целом, а не какому-то отдельному компьютеру. Эти диспетчерские системы автоматически распределяют задания по свободным вычислительным узлам или буферизуют их при отсутствии таковых, что позволяет обеспечить более равномерную и эффективную загрузку компьютеров. Во-вторых, появляется возможность совместного использования вычислительных ресурсов нескольких компьютеров для решения одной задачи.

Для создания кластеров обычно используются либо простые однопроцессорные персональные компьютеры, либо двух- или четырех- процессорные SMP-серверы. При этом не накладывается никаких ограничений на состав и архитектуру узлов. Каждый из узлов может функционировать под управлением своей собственной операционной системы. Чаще всего используются стандартные ОС: Linux, FreeBSD, Solaris, Tru64 Unix, Windows NT. В тех случаях, когда узлы кластера неоднородны, то говорят о гетерогенных кластерах.

При создании кластеров можно выделить два  подхода. Первый подход применяется  при создании небольших кластерных систем. В кластер объединяются полнофункциональные  компьютеры, которые продолжают работать и как самостоятельные единицы, например, компьютеры учебного класса или рабочие станции лаборатории. Второй подход применяется в тех  случаях, когда целенаправленно  создается мощный вычислительный ресурс. Тогда системные блоки компьютеров  компактно размещаются в специальных  стойках, а для управления системой и для запуска задач выделяется один или несколько полнофункциональных  компьютеров, называемых хост-компьютерами. В этом случае нет необходимости снабжать компьютеры вычислительных узлов графическими картами, мониторами, дисковыми накопителями и другим периферийным оборудованием, что значительно уменьшает стоимость системы.

В общем  случае кластер функционирует как  мультипроцессорная  система, поэтому, важно понимать классификацию таких  систем в рамках распределения программно-аппаратных ресурсов. Из типов организации мультипроцессорных систем, показанных на рисунках 9, 10 и 11, чаще всего используются реализации кластерной системы в моделях  тесно связанной и умеренно связанной  архитектур.

 

 

Рисунок 9 - Тесно связанная мультипроцессорная система

 

 

Рисунок 10 - Умеренно связанная мультипроцессорная система 

 

 

Рисунок 11 - Слабо связанная мультипроцессорная система 

 

Разработано множество технологий соединения компьютеров  в кластер. Наиболее широко в данное время используется технология Fast Ethernet. Это обусловлено простотой ее использования и низкой стоимостью коммуникационного оборудования. Однако за это приходится расплачиваться заведомо недостаточной скоростью обменов. В самом деле, это оборудование обеспечивает максимальную скорость обмена между узлами 10 Мб/сек, тогда как скорость обмена с оперативной памятью составляет 250 Мб/сек и выше. Разработчики пакета подпрограмм ScaLAPACK, предназначенного для решения задач линейной алгебры на многопроцессорных системах, в которых велика доля коммуникационных операций, формулируют следующим образом требование к многопроцессорной системе: "Скорость межпроцессорных обменов между двумя узлами, измеренная в Мб/сек, должна быть не менее 1/10 пиковой производительности вычислительного узла, измеренной в Mflops". Таким образом, если в качестве вычислительных узлов использовать компьютеры с процессорами класса Intel Core 2 Duo 2,4 ГГц  (пиковая производительность 19,2 Гфлопс, т. е. 19200 Мфлопс), то аппаратура Fast Ethernet обеспечивает только 1/192  от требуемой скорости. Частично это положение исправляет переход на технологии Gigabit Ethernet.