Стандарт Grid в сетевых технологиях

 

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ  УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО  ОБРАЗОВАНИЯ

НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ  ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

КАФЕДРА ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

 

 

 

 

 

 

 

 

 

 

 

 

 

Контрольная работа

по дисциплине «Сетевые информационные технологии»

«Стандарт Grid в сетевых технологиях»

 

 

 

 

 

 

 

 

Факультет:  АВТФ                                                   Преподаватель:

Группа: ЗАМ-834                                Бычков М.И.

Студент: Шиловский А.А.              

 

 

 

 

 

 

 

 

 

 

 

 

 

Новосибирск 2013

Содержание:

 

Постановка задачи

 

Цель работы:

 

Изучение технологии GRID, ее архитектуры, организации и средств построения. Краткий обзор применения данной технологии.

 

Задачи:

 

1. Изучение имеющихся материалов по технологии GRID;
2. Обзор архитектуры GRID-систем;
3. Описание инструментальных средств для построения GRID-систем на примере Globus Toolkit и LCG (LHC Computing Grid);
4. Изучение работы пользователя в GRID-системе и существующих пользовательских интерфейсов;
5. Рассмотрение инфраструктуры GRID, реализованной в рамках проекта EGEE (Enable Grid E-sciencE);
6. Обзор участия России в проекте EGEE

 

Введение.

 

Технология Грид (GRID) используется для создания географически распределенной вычислительной инфраструктуры, объединяющей ресурсы различных типов с коллективным доступом к этим ресурсам  в рамках виртуальных организаций, состоящих из предприятий и специалистов, совместно использующих эти общие ресурсы.

Термин Grid начал использоваться с середины 90-х годов и был выбран по аналогии с сетями передачи и распределения электроэнергии (Power Grids).

Развитие и внедрение технологии GRID носят стратегический характер. В ближайшей перспективе эта технология позволит создать принципиально новый вычислительный инструмент для развития высоких технологий в различных сферах человеческой деятельности.

Появление технологии GRID обусловлено следующими предпосылками:

• необходимостью решения сложных научных, производственных, инженерных и бизнес-задач;
• стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных;
• наличием во многих организациях вычислительных ресурсов:  суперкомпьютеров или, что наиболее часто встречается, организованных в виде кластеров персональных компьютеров.

К настоящему времени уже реализованы и реализуются множество проектов по созданию GRID-систем. Большая часть этих проектов имеет экспериментальный характер. Исходя из результатов анализа проектов можно сделать вывод о трех направлениях развития технологии GRID:

• вычислительный GRID;
• GRID для интенсивной обработки данных;
• cемантический GRID для оперирования данными из различных баз данных.

Целью первого направления является достижение максимальной скорости вычислений за счет глобального распределения  этих вычислений между компьютерами. Проект DEISA (www.deisa.eu) может служить примером этого направления, в котором предпринимается попытка объединения суперкомпьютерных центров.

Целью второго направления  является обработка огромных объемов  данных относительно несложными программами по принципу «одна задача – один процессор». Доставка данных для обработки и пересылка результатов в этом случае представляют собой достаточно сложную задачу. Для этого направления инфраструктура GRID представляет собой объединение кластеров. Один из проектов, целью которого и является создание производственной GRID-системы для обработки научных данных, является проект EGEE (Enabling Grids for E-sciencE), который выполняется под эгидой Европейского Союза (http://public.eu-egee.org/). Участниками этого проекта являются более 90 научных и образовательных учреждений со всего мира, включая Россию.

Построение инфраструктуры GRID в рамках проекта EGEE ориентировано, в первую очередь, на применение в различных отраслях научной деятельности, в том числе и для обработки данных в физике высоких энергий участниками экспериментов, проводимых на базе созданного в Европейском центре ядерных исследований (CERN, http://home.web.cern.ch/) ускорителя LHC.

Проект EGEE тесно связан с проектом LCG (LHC Computing Grid), который, по существу, и является его технологической базой. Ведется активная работа по расширению российской инфраструктуры Грид (RDIG, http://rus.egee-rdig.ru/).

С самых общих позиций эта  технология характеризуется простым  набором критериев:

• координация использования ресурсов при отсутствии централизованного управления этими ресурсами;
• использование стандартных, открытых, универсальных протоколов и интерфейсов;
• обеспечение высококачественного обслуживания пользователей.

Интерес к Grid очень высок практически  во всех странах мира, что выражается в большом количестве национальных и интернациональных проектов, исследовательских  работ и публикаций по этой тематике. Объясняется это тем, что институты современного общества, такие, как банки, службы управления и мониторинга, торговые и производственные предприятия имеют распределенную природу и нуждаются в инфраструктуре, позволяющей организовать корпоративное и межкорпоративное взаимодействие на основе распределенных программных приложений.

1. Концепция GRID.

 

GRID является технологией обеспечения гибкого, безопасного и скоординированного общего доступа к ресурсам. При этом слово «ресурс» понимается в очень широком смысле, т.е. ресурсом может быть аппаратура (жесткие диски, процессоры), а также системное и прикладное ПО (библиотеки, приложения).

В терминологии GRID совокупность людей и организаций, решающих совместно ту или иную общую задачу и предоставляющих друг другу свои ресурсы, называется виртуальной организацией (ВО). Например, виртуальной организацией может быть совокупность всех людей, участвующих в каком-либо научном проекте. Виртуальные организации могут различаться по составу, масштабу, времени существования, роду деятельности, целям, отношениям между участниками (доверительные, не доверительные) и т.д. Состав виртуальных организаций может динамически меняться.

Есть два основных критерия, выделяющих GRID-системы среди других систем, обеспечивающих разделяемый доступ к ресурсам:

1. GRID-система координирует разрозненные ресурсы. Ресурсы не имеют общего центра управления, а GRID-система занимается координацией их использования, например, балансировкой нагрузки. GRID-системы имеют лишь ограниченный доступ к ресурсам, зависящий от политики того административного домена (организации-владельца), в котором этот ресурс находится.
2. GRID-система строится на базе стандартных и открытых протоколов, сервисов и интерфейсов. Не имея стандартных протоколов, невозможно легко и быстро подключать новые ресурсы в GRID-систему, разрабатывать новые виды сервисов и т.д.

GRID-системы обычно обладают следующими свойствами:

• гибкость, т.е. возможность обеспечения разделяемого доступа потенциально к любым видам ресурсов;
• масштабируемость: работоспособность GRID-системы при значительном увеличении или уменьшении ее состава;
• гибкая и мощная подсистема безопасности: устойчивость к атакам злоумышленников, обеспечение конфиденциальности;
• возможность контроля над ресурсами: применение локальных и глобальных политик и квот;
• гарантии качества обслуживания;
• возможность одновременной, скоординированной работы с несколькими ресурсами.

Хотя сама технология GRID не привязана к определенным ресурсам, наиболее часто реализации GRID-систем обеспечивают работу со следующими типами ресурсов:

• вычислительные ресурсы  – отдельные компьютеры, кластеры;
• ресурсы хранения данных – диски и дисковые массивы, ленты, системы массового хранения данных;
• сетевые ресурсы;
• программное обеспечение – какое-либо специализированное ПО.

2. Архитектура GRID.

 

Архитектура GRID определяет системные компоненты, цели и функции этих компонент и отражает способы взаимодействия компонент друг с другом. Архитектура GRID представляет собой архитектуру взаимодействующих протоколов, сервисов и интерфейсов, определяющих базовые механизмы, посредством которых пользователи устанавливают соединения с GRID-системой, совместно используют вычислительные ресурсы для решения различного рода задач. Архитектура протоколов GRID разделена на уровни (рис. 1), компоненты каждого из них могут использовать возможности компонент любого из нижерасположенных уровней.

2.1. Базовый уровень.

 

Базовый уровень (Fabric Layer) описывает службы, непосредственно работающие с ресурсами.  Ресурсы могут быть весьма разнообразными, однако, как уже упоминалось, можно выделить несколько основных типов (рис. 2):

• вычислительные ресурсы;
• ресурсы хранения данных;
• информационные ресурсы, каталоги;
• сетевые ресурсы.

Вычислительные ресурсы предоставляют задаче пользователя GRID-системы процессорные мощности. Вычислительными ресурсами могут быть как кластеры, так и отдельные рабочие станции. При всем разнообразии архитектур любая вычислительная система может рассматриваться как потенциальный вычислительный ресурс GRID-системы. Необходимым условием для этого является наличие специального программного обеспечения промежуточного уровня (middleware), реализующего стандартный внешний интерфейс с ресурсом и позволяющего сделать ресурс доступным для GRID-системы. Основной характеристикой вычислительного ресурса является производительность.

Ресурсы памяти представляют собой пространство для хранения данных. Для доступа к ресурсам памяти также используется программное обеспечение промежуточного уровня, реализующее унифицированный интерфейс управления и передачи данных. Как и в случае вычислительных ресурсов, физическая архитектура ресурса памяти не принципиальна для GRID-системы, будь то жесткий диск на рабочей станции или система массового хранения данных на сотни терабайт. Основной характеристикой ресурса памяти является его объем.

Информационные ресурсы и каталоги являются особым видом ресурсов памяти. Они служат для хранения и предоставления метаданных и информации о других ресурсах GRID-системы. Информационные ресурсы позволяют структурировано хранить огромный объем информации о текущем состоянии GRID-системы и эффективно выполнять задачи поиска.

Сетевой ресурс является связующим звеном между распределенными ресурсами GRID-системы. Основной характеристикой сетевого ресурса является скорость передачи данных. Географически распределенные системы на основе рассматриваемой технологии способны объединять тысячи ресурсов разного типа, независимо от их географического положения.

2.2. Уровень связи.

 

Уровень связи (Connectivity Layer) определяет коммуникационные протоколы и протоколы аутентификации.

Коммуникационные протоколы обеспечивают обмен данными между компонентами базового уровня.

Протоколы аутентификации, основываясь  на коммуникационных протоколах, предоставляют  криптографические механизмы для идентификации и проверки подлинности пользователей и ресурсов.

Протоколы уровня связи должны обеспечивать надежный транспорт и маршрутизацию  сообщений, а также присвоение имен объектам сети. Протоколы уровня связи в GRID-системах предполагают использование стека протоколов TCP/IP, в частности: на сетевом уровне – IP и ICMP, транспортном уровне – TCP, UDP, на прикладном уровне – HTTP, FTP, DNS, RSVP.

Для обеспечения надежной передачи сообщений в GRID-системе должны использоваться решения, предусматривающие гибкий подход к безопасности коммуникаций (возможность контроля над уровнем защиты, ограничение делегирования прав, поддержка надежных транспортных протоколов). В настоящее время эти решения основываются как на существующих стандартах безопасности, изначально разработанных для сети Интернет (SSL, TLS), так и на новых разработках.

2.3. Ресурсный уровень.

 

Ресурсный уровень (Resource Layer) построен над протоколами коммуникации и аутентификации уровня связи архитектуры GRID. Ресурсный уровень реализует протоколы, обеспечивающие выполнение следующих функций:

• согласование политик безопасности использования ресурса;
• процедура инициации ресурса;
• мониторинг состояния ресурса;
• контроль над ресурсом;
• учет использования ресурса.

Протоколы этого уровня опираются на функции базового уровня для доступа и контроля над локальными ресурсами. На ресурсном уровне протоколы взаимодействуют с ресурсами, используя унифицированный интерфейс и не различая архитектурные особенности конкретного ресурса.

Различают два основных класса протоколов ресурсного уровня:

1. информационные протоколы, которые получают информацию о структуре и состоянии ресурса, например, о его конфигурации, текущей загрузке, политике использования;
2. протоколы управления, которые используются для согласования доступа к разделяемым ресурсам, определяя требования и допустимые действия по отношению к ресурсу (например, поддержка резервирования, возможность создания процессов, доступ к данным). Протоколы управления должны проверять соответствие запрашиваемых действий политике разделения ресурса, включая учет и возможную оплату. Они могут поддерживать функции мониторинга статуса и управления операциями.