Способы организации ресурсов GRID

ВВЕДЕНИЕ

 

Термин " GRID" был предложен Яном Фостером (Ian Foster) и Карлом Кессельманом (Kаrl Kesselman), авторами первой книги об идее использования компьютерных сетей для решения задач, требующих особо больших вычислительных ресурсов.

Цель создания Grid - интеграция определенного множества пространственно распределенных ресурсов для того, чтобы обеспечить возможность выполнения широкого класса приложений на любой совокупности этих ресурсов, независимо от места их расположения.

Глобальные вычислительные сети Grid были предложены в качестве новой парадигмы для решения крупномасштабных вычислительных задач в науке, технике и бизнесе. Они дают возможность одновременного использования миллионов вычислительных ресурсов, принадлежащих различным организациям и расположенных в различных административных областях. Системы Grid объединяют разнородные вычислительные ресурсы (персональные компьютеры, рабочие станции, кластеры, суперкомпьютеры), используя разные стратегии доступа к ним, выполняя различные приложения (научные, инженерные и коммерческие), предъявляющие к системе различные требования. Ресурсы принадлежат различным организациям, имеющим свои правила управления ресурсами, их использования и определения их стоимости для различных пользователей в различное время. Доступность и загруженность ресурсов также может динамически изменяться во времени.

В окружении Grid владельцы и потребители ресурсов имеют различные цели, используют различные стратегии и экономические схемы регулирования спроса и предложения. Таким образом, актуальной проблемой является разработка систем управления ресурсами Grid, нацеленных на оптимизацию отношений между владельцами ресурсов и пользователями в соответствии с выбранными ими стратегиями. Многие системы управления ресурсами Grid (такие как Legion, Condor, AppLeS PST, NetSolve, PUNCH, XtremWeb и т.д.) используют простые схемы распределения, когда компонент, отвечающий за распределение, решает, какие задачи должны быть выполнены на каком ресурсе, используя функции стоимости, задаваемые системными параметрами. Целью таких систем распределения является увеличение пропускной способности системы, ее загруженности и уменьшения времени выполнения задач, а не увеличение рентабельности ресурсов и приложений. Они не рассматривают цену использования каждого ресурса, а это означает, что значимость выполнения всех приложений в любое время одинакова, что в реальности далеко не так - значимость должна возрастать с приближением срока выполнения прикладной задачи. Предложено использование экономического подхода к планированию и распределению ресурсов, когда решения о распределении ресурсов производятся динамически и зависят от текущих требований пользователей (такой подход реализован в системе GRACE). Это - рыночная модель распределения ресурсов, когда цена каждого ресурса определяется потребностями в нем пользователей и его доступностью. Таким образом, в системе Grid пользователь конкурирует с другими пользователями и владелец ресурса с другими владельцами ресурсов. Экономический подход позволяет успешно управлять децентрализованными и гетерогенными ресурсами так, как это происходит в реальной экономике. Экономические системы управления ресурсами Grid динамически определяют наилучшие ресурсы, учитывая их цену и производительность, и распределяют задачи на этих ресурсах так, чтобы удовлетворить потребности пользователей.

Цель дипломной работы проанализировать использование Grid технологии в системах мониторинга окружающей среды.

Задачи дипломной работы провести обзор публикаций по Grid технологиям и проанализировать систему мониторинга окружающей среды.

 

КОНЦЕПЦИЯ GRID

 

Концепция Grid породила новую модель организации различных форм обработки данных (компьютинга), предложив технологии удаленного доступа к ресурсам разных типов независимо от места их расположения в глобальной сетевой среде. Так, с помощью Grid появляется возможность выполнять программные коды на одном или сразу нескольких ”чужих” компьютерах, становятся повсеместно доступными хранилища данных со структурированной (базы данных) и неструктурированной (файлы) информацией, источники данных (датчики, инструменты наблюдения) и программно управляемые устройства.

В реализации Grid представляет собой инфраструктуру, которая состоит из находящихся в разных местах ресурсов, соединяющих их телекоммуникаций (сетевые ресурсы) и взаимосогласованного по всей инфраструктуре связующего (middleware) программного обеспечения, поддерживающего выполнение дистанционных операций, а также выполняющего функции контроля и управления операционной средой. Grid создается владельцами ресурсов, выделяющими их в общее пользование. Владельцы и потребители, действующие на основании определенных правил. предоставления/потребления ресурсов, образуют виртуальную организацию.является средой коллективного компьютинга, в которой каждый ресурс имеет владельца, а доступ к ресурсам открыт в разделяемом по времени и по пространству режиме множеству входящих в виртуальной организации пользователей. Виртуальная организация может образовываться динамически и иметь ограниченное время существования.

 

Ресурсы GRID

 

Инструментарий Globus Toolkit, начиная с версии GT2 стал фактическим стандартом для Grid, признанным как научным сообществом, так и ведущими компаниями компьютерной индустрии. Благодаря тому, что GT с самого начала имел и по-прежнему сохраняет статус открытого программного обеспечения, к настоящему времени накоплен значительный опыт его применения в крупных проектах. Используя инструментальные средства GT, разными коллективами были разработаны дополнительные службы: репликации файлов, авторизации, диспетчеризации заданий и др.

Стандарт OGSA (Open Grid Services Architecture - набор спецификаций и стандартов, позволяющих объединить преимущества метакомпьютинга и Web -служб) определяет службы как абстрактные объекты, но не содержит никаких предписаний о способе их реализации. В OGSA не затрагиваются вопросы программной модели служб и исполнительной среды их функционирования, что, конечно, имеет смысл, так как делает стандарт независимым от реализационной платформы. Например, в GT3, Grid-службы реализуются в компонентных средах - контейнерах, разработанных для Web-служб. Так, на платформе J2EE (Java 2 Enterprise Edition - набор спецификаций и соответствующей документации для языка Java, описывающей архитектуру серверной платформы для задач средних и крупных предприятий) применяются разные типы контейнеров: EJB (Enterprise JavaBeans - спецификация технологии написания и поддержки серверных компонентов), JSP (JavaServer Pages - технология, позволяющая веб-разработчикам легко создавать содержимое, которое имеет как статические, так и динамические компоненты), сервлеты и апплеты. Роль контейнеров - размещение служб, обеспечение жизненного цикла, поддержка безопасности.

Если этих функций контейнера достаточно для Web-служб, то для Grid- служб требуется большее - способ реализации этих служб должен обеспечивать виртуализацию ресурсов:

многопользовательское обслуживание, динамически адаптирующееся к меняющейся нагрузке путем порождения множества экземпляров служб;

автоматическое распределение ресурсов между экземплярами служб, выполняющих обработку потока запросов.

Этим требованиям отвечает среда исполнения Grid-служб, в которой имеется пул ресурсов с единым управлением, осуществляемым Менеджером ресурсов. Запрос, поступающий на интерфейс службы преобразуется в форму задания для Менеджера ресурсов и передается ему по его интерфейсам. Основные функции Менеджера ресурсов - выделение ресурсов под задания и поддержка их выполнения (рисунок 1).

 

Рисунок 1 - Виртуализация через Менеджер ресурсов

 

К сожалению, в современных исследованиях вопросам организации ресурсов и управления службами уделяется относительно мало внимания. Тем больший интерес вызывают программные продукты коммерческих компаний, занимающихся разработкой средств для поддержки внутренней информационной инфраструктуры предприятий, инфраструктуры, связывающей предприятия, и инфраструктуры провайдеров услуг. Если исследовательское направление сосредоточено, главным образом, на моделях и протоколах обеспечения интероперабельности пространственно распределенного программного обеспечения, то основные достижения коммерческих систем лежат как раз в сфере управления ресурсами.

Ведущие компании IBM, Sun, Hewlett-Packard, Avaki, Oracle и др. заинтересованы в развитии пространственно распределенного компьютинга и связывают перспективы с переходом на протоколы и архитектуру Grid. Общие положения способа построения Grid на базе локальных систем управления распределенными ресурсами выглядят следующим образом:

Модель служб OGSA рассматривается как будущий стандарт всей информационной индустрии, на основе которого будут строиться пространственно распределенные приложения. Через посредство служб приложения получают унифицированный дистанционный доступ к ресурсам виртуальной организации;

Связующее программное обеспечение Grid “склеивает”, то есть делает доступными потребителям, географически разнесенные, принадлежащие разным административным доменам ресурсные пулы;

Средства Grid для сбора и хранения информации снабжают виртуальную организацию метаданными о ресурсах, услугах и условиях их предоставления. OGSA специфицирует формат описаний и способ хранения метаданных в реестрах. На основе метаданных работают различные коммунальные службы Grid;

Защита в виртуальной организации базируется на стандарте инфраструктуры безопасности (PKI (Public Key Infrastructure - Инфраструктура Открытых Ключей)) Grid, основанном на сертификатах X.509. PKI поддерживает однократную регистрацию пользователей, которая действует повсеместно, на всех ресурсных пулах.

 

Пример интеграции систем мониторинга на уровне данных

 

Первый подход к интеграции систем спутникового мониторинга - на уровне обмена данными - апробирован при отработке взаимодействия между системами ИКИ РАН-НКАР и ИКИ РАН на примере задач сельскохозяйственного мониторинга. Российская система спутникового мониторинга на основе стандарта WMS предоставляет данные по индексу NDVI, пожарам и базовую картографию. В домене ИКИ РАН-НКАР развернуты два WMS-сервера, обеспечивающие продукты MODIS (точечные данные) и модельные данные по температуре земной поверхности, а также векторные данные наземных метеоизмерений. Интеграция данных реализована по шаблону толстого клиента на базе программного обеспечения OpenLayers с поддержкой технологии AJAX (Asynchronous Javascript and XML - асинхронный JavaScript и XML). Схема организации взаимодействия показана на рисунке 6.

 

Рисунок 6 - Схема интеграции систем мониторинга на уровне данных

 

Выбранная технология обладает следующими преимуществами: обеспечивается поддержка кэширования слоев и оптимизация загрузки изображений за счет разбиения всей отображаемой области на фрагменты. Это существенно ускоряет отображение результатов в интерфейсе пользователя. Дополнительным преимуществом такой технологии является отсутствие необходимости в серверной части, обеспечивающей интеграцию данных. Вся функциональность по извлечению данных из разных систем мониторинга и их отображению реализуется на стороне клиента. Пример интерфейса пользователя показан на рисунке. 7, где одновременно отображены данные обеих систем мониторинга: карта индексов NDVI из системы мониторинга ИКИ РАН и карта температуры земной поверхности с сервера ИКИ РАН-НКАР.

 

Рисунок 7 - Интерфейс пользователя на основе OpenLayers

 

Второй подход к интеграции систем мониторинга - на уровне выполнения задач - был использован для разработки сегмента Wide Area Grid (WAG) в рамках проекта, инициированного Французским космическим агентством CNES, а также проекта CAT-1. Целью этих проектов является создание Grid-системы, объединяющей ресурсы космических агентств и других организаций разных стран с целью решения задач GEOSS и GMES. В разработанном сегменте объединены ресурсы ИКИ РАН-НКАР, Remote Sensing Ground Station of CAS (China). Текущее состояние Inter-Grid системы, разрабатываемой в рамках проектов CAT-1 и WAG, представлено на рисунке 8. Все организации, представленные в данном сегменте, предоставляют свои вычислительные ресурсы для решения задач мониторинга окружающей среды в контексте GEOSS. На данный момент в Inter-Grid-системе выполняются следующие задачи: моделирование метеорологических параметров с помощью численной модели WRF; картографирование площадей затопленных территорий с помощью радиолокационных данных спутников ERS и ENVISAT.

 

Рисунок 8 - Текущая InterGrid инфраструктура, создаваемая в рамках проектов CAT-1 и WAG

 

Кроме вычислительных ресурсов, ИКИ РАН-НКАР и RSGS of CAS имеют возможность представлять в сегменте свои архивы данных, которые могут быть использованы для решения тематических задач [5].

 

Нагрузка на нервную систему

Самым уязвимым местом пользователя ПК являются не глаза, как принято полагать, а нервы. Например, мерцание экрана, практически безвредное для глаз, сильно напрягает нервную систему. Шум вентиляторов медленно, но верно расшатывает нервы. Если к этому добавить вышеописанные проблемы с глазами и позвоночником, которые тоже нагружают нервную систему, то общая картина получится печальная.

Общее утомление нервной системы приводит к иллюзии физической усталости, снижению чувствительности органов чувств (не только зрения и слуха, но и всех остальных), нарушению координации движений и чувства равновесия, а также к нарушениям давления и спазмам сосудов. Последние два фактора сделали кофе одним из самых любимых напитков пользователя ПК, так как кофе, который и сам портит нервы, при этом ненадолго снимает внешние проявления. Головной мозг у пользователя ПК подвергаются такому жестокому разгону, какому не подвергался ни один процессор в мире.

 

3.1.5 Гигиенические требования к персональным электронно-вычислительным машинам и организации работы

В Санитарно-эпидемиологических правилах и нормативах СанПиН 2.2.2/2.4.1340-03 предъявляются требования для компьютеров:

2.1 ПЭВМ должны соответствовать требованиям настоящих санитарных правил и каждый их тип подлежит санитарно-эпидемиологической экспертизе с оценкой в испытательных лабораториях, аккредитованных в установленном порядке.

Перечень продукции и контролируемых гигиенических параметров вредных и опасных факторов в приложении А (таблица 1).

Допустимые уровни звукового давления и уровней звука, создаваемого ПЭВМ, не должны превышать значений, представленных в приложении А (таблица 2).

Временные допустимые уровни электромагнитных полей (ЭМП), создаваемых ПЭВМ, не должны превышать значений, представленных в приложении А (таблица 3).

Допустимые визуальные параметры устройств отображения информации представлены в приложении 1 (таблица 4).

Концентрации вредных веществ, выделяемых ПЭВМ в воздух помещений, не должны превышать предельно допустимых концентраций (ПДК), установленных для атмосферного воздуха.

Мощность экспозиционной дозы мягкого рентгеновского излучения в любой точке на расстоянии 0, 05 м от экрана и корпуса ВДТ (на электроннолучевой трубке) при любых положениях регулировочных устройств не должна превышать 1 мкЗв/час (100 мкР/час).

Конструкция ПЭВМ должна обеспечивать возможность поворота корпуса в горизонтальной и вертикальной плоскости с фиксацией в заданном положении для обеспечения фронтального наблюдения экрана ВДТ. Дизайн ПЭВМ должен предусматривать окраску корпуса в спокойные мягкие тона с диффузным рассеиванием света. Корпус ПЭВМ, клавиатура и другие блоки и устройства ПЭВМ должны иметь матовую поверхность с коэффициентом отражения 0, 4 - 0, 6 и не иметь блестящих деталей, способных создавать блики.

. Конструкция ВДТ должна предусматривать регулирование яркости и контрастности.

. Документация на проектирование, изготовление и эксплуатацию ПЭВМ не должна противоречить требованиям настоящих санитарных правил.

 

Утилизация компьютеров

Трудно представить сегодняшнюю жизнь без персонального компьютера (ПК), электроники, мобильного телефона. ПК всюду - дома, на работе, школе, ВУЗе, аптеке, банке, на вокзале, магазине, больнице и т.д.Информатизация общества в полном объеме. Базы данных, огромные потоки различной информации, Internet - привычные слова и понятия. Количество персональных компьютеров растет с каждым годом.

Согласно данным Программы ООН по защите окружающей среды (ЮНЕП), каждый год человечество выбрасывает на свалку до 50 миллионов тонн " электронного мусора", и этот показатель постоянно растет. Примерно четверть всех отходов -это электро- и электронные приборы и техника, рост этого показателя составляет 2, 5 - 4% в год. При этом отмечается, что неправильная утилизация орг.техники приводит к высвобождению опасных химикатов и тяжелых металлов в окружающую среду.

Проблема переработки отходов может серьезно обостриться, когда, заметно сокращаются и сроки морального старения электронной аппаратуры: если в 1992 году компьютером пользовались в среднем четыре с половиной года, то сейчас компьютер морально устаревает уже за год-два года после приобретения.

В общей массе электрического мусора доля ИТ- и телеком - оборудования невелика - около 10-15%.

По оценкам Управления охраны окружающей среды США (EPA), 1% из 210 млн. тонн твердых отходов, собираемых ежегодно в стране, приходится на долю электронных изделий. Это - старые телевизоры, ПК, принтеры и другой устаревший высокотехнологичный скрап. Но рост объемов электронных отходов - лишь часть, и отнюдь не самая серьезная часть, проблемы. Все чаще экологи обращают внимание на наличие в отходах, пусть в незначительных количествах, токсичных веществ и загрязняющих окружающую среду тяжелых металлов (свинца, кадмия, сурьмы, бериллия, хрома, ртути). К токсичным материалам относятся тяжелые металлы - свинец (в ЭЛТ и паяных соединениях компонентов), кадмий (в батареях питания), сурьма (в средствах подавления пламени, герметиках и в припое стеклянных панелей ЭЛТ), бериллий (в соединителях сотовых телефонов и ПК ранних моделей), хром (в металлических покрытиях), ртуть (в малых количествах в индикаторных лампах плоских дисплеев).

В кинескопных мониторах содержится немало соединений свинца. Другая категория продукции, содержащая опасные элементы, - ноутбуки. В аккумуляторах и экранах устаревших моделей имеется определенное количество ртути, которая также очень опасна для организма и окружающей среды. То же самое относится и к батареям питания и аккумуляторам, содержащим такие металлы, как свинец, кадмий, цинк и никель.

В 2000 году из муниципальных отходов, содержащих свинец, около 30%, представляли собой отходы электронной продукции.

 

Процесс переработки

В принципе, любой компьютер или телефон можно переработать и пустить во вторичное использование. При грамотной утилизации около 95% отходов техники способны вернуться к нам в том или ином виде, и примерно 5% отправляются на свалки или федеральные заводы по переработке твердых бытовых отходов. Соотношение ручного и автоматизированного труда на фабриках по переработке компьютерной техники зависит от ее типа. Для монитора это соотношение примерно 50 на 50 - разборка старых кинескопов является довольно трудоемким занятием. Для системных блоков и оргтехники доля автоматических операций выше. НР впервые предложила переработку отслужившей свой срок продукции еще в 1981 году. Сегодня НР обладает инфраструктурой по сбору и переработке использованных ПК и оргтехники в 50 странах мира. В год утилизации подвергается около 2, 5 млн. единиц продукции. В одном только 2007 году НР переработал около 100 тыс. тонн списанного оборудования и расходных материалов, - почти в полтора раза больше, чем годом ранее.

Первый этап всегда производится вручную. Это - удаление всех опасных компонентов. В современных настольных ПК и принтерах таких компонентов практически нет. Но переработке подвергаются, как правило, компьютеры и техника, выпущенные в конце 90-х - самом начале 2000-х годов, когда плоских жидкокристаллических мониторов просто не существовало. А в кинескопных мониторах содержится немало соединений свинца. Другая категория продукции, содержащая опасные элементы, - ноутбуки. В аккумуляторах и экранах устаревших моделей имеется определенное количество ртути, которая также очень опасна для организма. Важно отметить, что в новых моделях ноутбуков от этих вредоносных компонентов избавились.

Затем удаляются все крупные пластиковые части. В большинстве случаев эта операция также осуществляется вручную. Пластик сортируется в зависимости от типа и измельчается для того, чтобы в дальнейшем его можно было использовать повторно. Оставшиеся после разборки части отправляют в большой измельчитель, и все дальнейшие операции автоматизированы. Во многом технологии переработки позаимствованы из горного дела - примерно таким же способом извлекают ценные металлы из породы.

Измельченные в гранулы остатки компьютеров подвергаются сортировке. Сначала с помощью магнитов извлекаются все железные части. Затем приступают к выделению цветных металлов, которых в ПК значительно больше. Алюминий добывают из лома посредством электролиза. В сухом остатке получается смесь пластика и меди. Медь выделяют способом флотации - гранулы помещают в специальную жидкость, пластик всплывает, а медь остается на дне. Сама эта жидкость не ядовита, однако, рабочие на заводе используют защиту органов дыхания - чтобы не вдыхать пыль.

В данный момент можно с уверенностью сказать о том, что закон о утилизации компьютеров необходим, так как в действительности мы не должны негативно влиять на окружающую нас среду. Но в нашей стране все гораздо проще, существует очень много компании, которые с удовольствием примут заказ на утилизацию старого оборудования, вам не придется длительное время проводить за документами, которые необходимы для утилизации, ваши компьютеры смогут забрать компании, занимающиеся утилизацией. Все что от вас потребуется - это правильно оформленное списание, помните, что списание компьютеров можно без особых сложностей осуществить при помощи специальных компаний, а так же составление всего одного документа на утилизацию оргтехники. Стоимость таких услуг не велика, и вы безусловно сможете позволить себе сделать окружающий мир чище.

 

ЗАКЛЮЧЕНИЕ

 

Заданием на дипломный проект было изучить использование GRID технологии в системах мониторинга окружающей среды.

В ходе дипломного проекта был проведен обзор публикаций по Grid технологиям и проанализирована система мониторинга окружающей среды, рассмотрены вопросы интеграции систем спутникового мониторинга, выделены два возможных способа взаимодействия подобных систем: на уровне обмена данными и на уровне выполнения задач и проведена экономическая оценка эффективности системы мониторинга окружающей среды.

Более глубокую интеграцию систем обеспечивает их объединение на уровне выполнения задач, т.е. в рамках Inter-Grid инфраструктуры. Выделены основные проблемы, возникающие в процессе совместного использования Grid-систем на разных платформах, и проанализированы возможные пути их решения.

Практическое применение Grid технологий может быть широко использована во многих сферах деятельности человека, где необходимо провести сложные расчеты.

 

ПРИЛОЖЕНИЕ

ВВЕДЕНИЕ

 

Термин " GRID" был предложен Яном Фостером (Ian Foster) и Карлом Кессельманом (Kаrl Kesselman), авторами первой книги об идее использования компьютерных сетей для решения задач, требующих особо больших вычислительных ресурсов.

Цель создания Grid - интеграция определенного множества пространственно распределенных ресурсов для того, чтобы обеспечить возможность выполнения широкого класса приложений на любой совокупности этих ресурсов, независимо от места их расположения.

Глобальные вычислительные сети Grid были предложены в качестве новой парадигмы для решения крупномасштабных вычислительных задач в науке, технике и бизнесе. Они дают возможность одновременного использования миллионов вычислительных ресурсов, принадлежащих различным организациям и расположенных в различных административных областях. Системы Grid объединяют разнородные вычислительные ресурсы (персональные компьютеры, рабочие станции, кластеры, суперкомпьютеры), используя разные стратегии доступа к ним, выполняя различные приложения (научные, инженерные и коммерческие), предъявляющие к системе различные требования. Ресурсы принадлежат различным организациям, имеющим свои правила управления ресурсами, их использования и определения их стоимости для различных пользователей в различное время. Доступность и загруженность ресурсов также может динамически изменяться во времени.

В окружении Grid владельцы и потребители ресурсов имеют различные цели, используют различные стратегии и экономические схемы регулирования спроса и предложения. Таким образом, актуальной проблемой является разработка систем управления ресурсами Grid, нацеленных на оптимизацию отношений между владельцами ресурсов и пользователями в соответствии с выбранными ими стратегиями. Многие системы управления ресурсами Grid (такие как Legion, Condor, AppLeS PST, NetSolve, PUNCH, XtremWeb и т.д.) используют простые схемы распределения, когда компонент, отвечающий за распределение, решает, какие задачи должны быть выполнены на каком ресурсе, используя функции стоимости, задаваемые системными параметрами. Целью таких систем распределения является увеличение пропускной способности системы, ее загруженности и уменьшения времени выполнения задач, а не увеличение рентабельности ресурсов и приложений. Они не рассматривают цену использования каждого ресурса, а это означает, что значимость выполнения всех приложений в любое время одинакова, что в реальности далеко не так - значимость должна возрастать с приближением срока выполнения прикладной задачи. Предложено использование экономического подхода к планированию и распределению ресурсов, когда решения о распределении ресурсов производятся динамически и зависят от текущих требований пользователей (такой подход реализован в системе GRACE). Это - рыночная модель распределения ресурсов, когда цена каждого ресурса определяется потребностями в нем пользователей и его доступностью. Таким образом, в системе Grid пользователь конкурирует с другими пользователями и владелец ресурса с другими владельцами ресурсов. Экономический подход позволяет успешно управлять децентрализованными и гетерогенными ресурсами так, как это происходит в реальной экономике. Экономические системы управления ресурсами Grid динамически определяют наилучшие ресурсы, учитывая их цену и производительность, и распределяют задачи на этих ресурсах так, чтобы удовлетворить потребности пользователей.

Цель дипломной работы проанализировать использование Grid технологии в системах мониторинга окружающей среды.

Задачи дипломной работы провести обзор публикаций по Grid технологиям и проанализировать систему мониторинга окружающей среды.

 

КОНЦЕПЦИЯ GRID

 

Концепция Grid породила новую модель организации различных форм обработки данных (компьютинга), предложив технологии удаленного доступа к ресурсам разных типов независимо от места их расположения в глобальной сетевой среде. Так, с помощью Grid появляется возможность выполнять программные коды на одном или сразу нескольких ”чужих” компьютерах, становятся повсеместно доступными хранилища данных со структурированной (базы данных) и неструктурированной (файлы) информацией, источники данных (датчики, инструменты наблюдения) и программно управляемые устройства.

В реализации Grid представляет собой инфраструктуру, которая состоит из находящихся в разных местах ресурсов, соединяющих их телекоммуникаций (сетевые ресурсы) и взаимосогласованного по всей инфраструктуре связующего (middleware) программного обеспечения, поддерживающего выполнение дистанционных операций, а также выполняющего функции контроля и управления операционной средой. Grid создается владельцами ресурсов, выделяющими их в общее пользование. Владельцы и потребители, действующие на основании определенных правил. предоставления/потребления ресурсов, образуют виртуальную организацию.является средой коллективного компьютинга, в которой каждый ресурс имеет владельца, а доступ к ресурсам открыт в разделяемом по времени и по пространству режиме множеству входящих в виртуальной организации пользователей. Виртуальная организация может образовываться динамически и иметь ограниченное время существования.

 

Ресурсы GRID

 

Инструментарий Globus Toolkit, начиная с версии GT2 стал фактическим стандартом для Grid, признанным как научным сообществом, так и ведущими компаниями компьютерной индустрии. Благодаря тому, что GT с самого начала имел и по-прежнему сохраняет статус открытого программного обеспечения, к настоящему времени накоплен значительный опыт его применения в крупных проектах. Используя инструментальные средства GT, разными коллективами были разработаны дополнительные службы: репликации файлов, авторизации, диспетчеризации заданий и др.

Стандарт OGSA (Open Grid Services Architecture - набор спецификаций и стандартов, позволяющих объединить преимущества метакомпьютинга и Web -служб) определяет службы как абстрактные объекты, но не содержит никаких предписаний о способе их реализации. В OGSA не затрагиваются вопросы программной модели служб и исполнительной среды их функционирования, что, конечно, имеет смысл, так как делает стандарт независимым от реализационной платформы. Например, в GT3, Grid-службы реализуются в компонентных средах - контейнерах, разработанных для Web-служб. Так, на платформе J2EE (Java 2 Enterprise Edition - набор спецификаций и соответствующей документации для языка Java, описывающей архитектуру серверной платформы для задач средних и крупных предприятий) применяются разные типы контейнеров: EJB (Enterprise JavaBeans - спецификация технологии написания и поддержки серверных компонентов), JSP (JavaServer Pages - технология, позволяющая веб-разработчикам легко создавать содержимое, которое имеет как статические, так и динамические компоненты), сервлеты и апплеты. Роль контейнеров - размещение служб, обеспечение жизненного цикла, поддержка безопасности.

Если этих функций контейнера достаточно для Web-служб, то для Grid- служб требуется большее - способ реализации этих служб должен обеспечивать виртуализацию ресурсов:

многопользовательское обслуживание, динамически адаптирующееся к меняющейся нагрузке путем порождения множества экземпляров служб;

автоматическое распределение ресурсов между экземплярами служб, выполняющих обработку потока запросов.

Этим требованиям отвечает среда исполнения Grid-служб, в которой имеется пул ресурсов с единым управлением, осуществляемым Менеджером ресурсов. Запрос, поступающий на интерфейс службы преобразуется в форму задания для Менеджера ресурсов и передается ему по его интерфейсам. Основные функции Менеджера ресурсов - выделение ресурсов под задания и поддержка их выполнения (рисунок 1).

 

Рисунок 1 - Виртуализация через Менеджер ресурсов

 

К сожалению, в современных исследованиях вопросам организации ресурсов и управления службами уделяется относительно мало внимания. Тем больший интерес вызывают программные продукты коммерческих компаний, занимающихся разработкой средств для поддержки внутренней информационной инфраструктуры предприятий, инфраструктуры, связывающей предприятия, и инфраструктуры провайдеров услуг. Если исследовательское направление сосредоточено, главным образом, на моделях и протоколах обеспечения интероперабельности пространственно распределенного программного обеспечения, то основные достижения коммерческих систем лежат как раз в сфере управления ресурсами.

Ведущие компании IBM, Sun, Hewlett-Packard, Avaki, Oracle и др. заинтересованы в развитии пространственно распределенного компьютинга и связывают перспективы с переходом на протоколы и архитектуру Grid. Общие положения способа построения Grid на базе локальных систем управления распределенными ресурсами выглядят следующим образом:

Модель служб OGSA рассматривается как будущий стандарт всей информационной индустрии, на основе которого будут строиться пространственно распределенные приложения. Через посредство служб приложения получают унифицированный дистанционный доступ к ресурсам виртуальной организации;

Связующее программное обеспечение Grid “склеивает”, то есть делает доступными потребителям, географически разнесенные, принадлежащие разным административным доменам ресурсные пулы;

Средства Grid для сбора и хранения информации снабжают виртуальную организацию метаданными о ресурсах, услугах и условиях их предоставления. OGSA специфицирует формат описаний и способ хранения метаданных в реестрах. На основе метаданных работают различные коммунальные службы Grid;

Защита в виртуальной организации базируется на стандарте инфраструктуры безопасности (PKI (Public Key Infrastructure - Инфраструктура Открытых Ключей)) Grid, основанном на сертификатах X.509. PKI поддерживает однократную регистрацию пользователей, которая действует повсеместно, на всех ресурсных пулах.

 

Способы организации ресурсов GRID

 

Существует два способа организации ресурсов Grid. Первый способ, соответствующий направлению GT, можно назвать двухуровневым (или горизонтально интегрированным). В этой форме Grid образуется из совокупности комплексных, то есть содержащих множество компьютеров, узлов. Ресурсы отдельного узла находятся в автономном административном домене, связаны локальной сетью и обычно управляются системой пакетной обработки, которая играет роль локального Менеджера ресурса. Узел включается в Grid через одну одну или несколько машин-шлюзов, на которые устанавливаются Grid- службы, и, таким образом ресурсы узла становятся доступны повсеместно. На такой способ организации ресурсов ориентирован GT, в котором поддержаны интерфейсы с системой пакетной обрабротки PBS, Condor, LSF, SGE и др. Виртуализация ресурсов происходит на уровне отдельных узлов Grid, а для обеспечения прозрачного доступа ко всем ресурсам виртуальной организации предполагается наличие службы глобальной виртуализации - брокера или диспетчера (рисунок 2). Описанный подход хорош для виртуальных организаций, которые опираются на развитую локальную инфраструктуру ресурсов. Однако, представляют интерес и ситуации, когда владельцы ресурсов не используют систему пакетных обработок, не могут позволить себе усложнять обслуживание имеющегося парка машин или создают Grid на короткое время для совместного выполнения конкретного проекта. В таких обстоятельствах более подходящим может быть второй способ организации Grid - одноуровневый (или с вертикальной интеграцией).

 

Рисунок 2 - Двухуровневый горизонтально интегрированный Grid

 

В одноуровневой архитектуре ресурсы - пространственно распределенные компьютеры - интегрируются через управляющий центр, который, с одной стороны, представляет собой точку доступа ко всем ресурсам, а, с другой стороны, выполняет функции Менеджера ресурсов, управляя ресурсами и виртуализируя их (рисунок 3).

1234Следующая ⇒

Поделиться: