Технические характеристики программного обеспечения АСООИ-XEON4

⇐ ПредыдущаяСтр 2 из 4Следующая ⇒

В настоящее время в Гидрометцентре России успешно и надежно функционирует технология АСООИ-Xeon4 на платформе 4-процессорных серверов Xeon. Сервер Xeon4b является основным, а сервер Xeon4а является его горячим резервом. Технологии АСООИ-Xeon4b и АСООИ-Xeon4а взаимно резервирующие. Их разработка велась в 2002—2007 гг. Данная технология пришла на смену предыдущей одномашинной технологии АСООИ-CRAY, разработанной и функционировавшей в 1998—2005 гг. на ЭВМ CRAY Y-MP8E [1, 4, 5] и предшествующей технологии АСООИ-ЕС [2, 3]. АСООИ-Xeon4 является технологией корпоративного уровня, предназначенной для обеспечения комплексной, централизованной, автоматизированной обработки, использования, хранения и распространения разнообразной гидрометеорологической информации в рамках различных предметных областей деятельности Гидрометцентра России. Эта технология состоит из нескольких больших взаимодействующих компонентов (подтехнологий и подсистем), разработанных в Отделе Систем Информационного обеспечения (ОСИО) Гидрометцентра России.

Ядро технологии АСООИ-Xeon4 состоит из следующих подтехнологий:

АСООИ-СУБД — централизованные информационные базы данных Гидрометцентра России общего и специализированного назначения. Является унифицированной средой хранения разнообразной структурированной информации различных предметных областей Гидрометцентра России.

АСООИ-БнЗ — банк оперативных задач, содержащий все оперативно-значимое прикладное программное обеспечение различных предметных областей Гидрометцентра России.

Является централизованным, масштабируемым, строго унифицированным и структурированным хранилищем всех задач технологии АСООИ.

АСООИ-АСУ — автоматизированная система управления вычис- лительным процессом; осуществляет управление оперативными, администраторскими и пользовательскими вычислительными процессами и ресурсами технологии АСООИ-Xeon4. Является связующей управляющей средой (middleware) между АСООИ-СУБД и АСООИ-БнЗ.

АСООИ-ОС — системное администрирование всех ресурсов технологии

АСООИ (оперативных, администраторских, пользовательских, системных, сетевых и смежных ресурсов). Смежные технологии

АСООИ-ПРИЕМ — прием метеорологических данных и текстовых сообщений различных типов. Раскодирование данных наблюдений, продукции зарубежных центров, прогнозов региональных центров.

АСООИ-ГРАФИКА — графическое представление продукции АСООИ-Xeon4.

АСООИ-ПЕРЕДАЧА — формирование продукции Гидрометцентра России и передача ее потребителям в ГСТ, АСПД и на FTP-серверы в кодовых формах GRIB, GRID и в текстовом формате.

АСООИ-АРХИВ — архивация данных, сформированных в рамках технологии АСООИ-Xeon4.

1. Ядро АСООИ является полнофункциональной реализацией трехзвенной архитектуры Middleware

2. Централизация информационных ресурсов Гидрометцентра России

3. Эффективное централизованное управление этими ресурсами (оперативное и неоперативное)

4. Высокий уровень автоматизации оперативного вычислительного процесса (в том числе автозапуск сеансов)

5. Надежное, гибкое, эффективное сопровождение и развитие этих ресурсов

6. Унификация и автоматизация процессов разработки приложений АСООИ

7. Обеспечение масштабируемости и мобильности ПОв условиях многомашинной конфигурации оперативного вычислительного процесса

Таким образом, принципиальный смысл и назначение ядра технологии АСООИ-Xeon4:

Место Middleware внутри программно-аппаратной платформы Xeon4b. Главное в этой иерархии следующее:

1. Уровень 4 является интегрирующей, связующей средой между уровнями 6 и 2;

2. Особенности системного и прикладного ПО скрыты внутри Middleware;

3. Пользователи АСООИ фактически имеют дело только с ресурсами Middleware;

4. Пользователи НИР имеют дело с уровнями 3, 2, 1, т.е. классическим способом.

Сервера ГВЦ Росгидромета.

Вычислительный комплекс состоит из следующих основных компонентов:

Рисунок 5.Вычислительный комплекс.

(Получение и хранение метеорологической информации ГВЦ Росгидромета)

Вычислитель выполняет функции оперативного и научно-исследовательского счета, ресурсной поддержки научно-исследовательских разработок. Дифференциация задач выполняется по технологическим схемам каждого из центров установки. В комплект системы входит системная консоль организации доступа ко всем узлам системы для инженерного персонала.

Система управления данными состоит из:

· дисковой системы хранения данных, обеспечивающей хранение данных на накопителях ЖМД и предоставляющей ресурсы для подсистем ввода-вывода Вычислителя, серверов баз данных и оперативных систем;

· ленточной системы хранения данных, состоящей из автоматизированной ленточной библиотеки,

· серверов системы управления данными, включая серверы архивирования и резервного копирования, иерархического хранения данных.

o Серверы оперативной системы и баз данных включают в себя вычислительные серверы, локальные серверы оперативного назначения, в число которых входят серверы обмена оперативной информацией, серверы информационных систем Росгидромета, файловые серверы, обеспечивающие файловый и транзакционный обмен данными для клиентов ЛВС.

o Серверы общего назначения обеспечивают функционирование основных сетевых сервисов, таких как DHCP, NTP, локальных DNS и почтового сервиса.

o Абонентские рабочие места оперативного и научно-исследовательского назначения включают персональные компьютеры и станции визуализации оперативного и неоперативного персонала.

o Локальная вычислительная сеть объединяет все компоненты информационной системы. Связь с существующей ЛВС осуществляется посредством двух интерфейсов Ethernet 10/100/1000 Base-T. Для обеспечения функционирования осуществляется мониторинг и управление сетевым оборудованием.

o Все компоненты существующего программно-аппаратного комплекса работают в режиме реального времени 24 часа в сутки.

Конфигурация информационной системы (основные характеристики установленного в ФГБУ “ГВЦ Росгидромета” Вычислительного комплекса.)

Пиковая произво- дительность TFlops (10¹²)	Тип вычислителя	Кол-во CPU/ CPU в узле	ОЗУ Тбайт (10¹²)/GB на ядро	Производитель (фирма/страна)	Дисковая подсистема Тбайт(10¹²)
	SGI Altix 4700	1664 / 128	6.6/4	SGI(США)	180TB= 60TB SGI IS4000 + 120TB SGI IS10000
	SGI Altix ICE8200	1408/8	2.8/2	SGI(США)
	РСК ”Торнадо”	1152/12	4, 608/4	РСК (Россия)	300TB IBM Storwize V7000, IBM System Storage DCS3700
	SGI ICE-X	720/20	2, 304/3, 2	SGI(США)
	SGI UV2000	96/96	1, 024/10, 6	SGI(США)

Рисунок 6. SGI Altix 4700 (Получение и хранение метеорологической информации ГВЦ Росгидромета)

Кластер (Вычислитель #1) SGI Altix 4700 пиковой производительностью 11 TFlops построен на 832 2-х ядерных процессорах Intel Itanium 9140М с оперативной памятью 6.6 TB (1664 процессорных ядер, 4 GB на ядро). Вычислитель представляет собой систему с общей памятью, способен масштабироваться до 1024 ядер в рамках единого образа операционной системы. Архитектура SGI NUMAflex обеспечивает наилучшие (по проведенным тестированиям) значения полосы пропускания и латентности. Шина взаимодействия SGI NUMALink обеспечивает высокоскоростное взаимодействие между процессорами системы. На текущий момент Вычислитель логически делится на партиции/узлы (13 узлов): 1 партиция = 1 вычислительная стойка. В каждой партиции 32 виртуальных вычислительных узла (нод): 4 ядра + 16ГБ оперативной памяти. Две виртуальных ноды зарезервированы для системных процессов (8 ядер + 32ГБ памяти). Каждая аппаратная партиция имеет системные жесткие диски SAS с полезным объемом 300 GB с зеркалированием и высокопроизводительный доступ к Дисковой системе хранения данных через параллельную файловую систему SGI CXFS. Кластер функционирует под управлением операционной системы SLES 11SP1 (ia64).

Рисунок 7. SGI Altix ICE8200 (Получение и хранение метеорологической информации ГВЦ Росгидромета)

Кластер (Вычислитель #2) SGI Altix ICE8200 пиковой производительностью 16 TFlops построен на 352 4-х ядерных процессорах Intel Quad Core Xeon e5440 с оперативной памятью 2.8TB (1408 процессорных ядер, 2 GB на ядро). Вычислитель представляет собой широко распространенный тип блейд-систем, имеет 64-разрядную архитектуру EM64T/AMD64. Вычислитель состоит из 3-х вычислительных стоек, каждая из которых представляет собой: 4 IRU (Individual Rack Unit — блейд шасси), 15 вычислительных блейдов (лезвий), 8 ядер и 16GB оперативной памяти в каждом блейде. В качестве шины взаимодействия используется технология Infiniband DDR. Кластер использует бездисковый принцип работы - образ операционной системы разворачивается в оперативной памяти. Общая файловая система строится на базе технологии NFS over Infiniband. Кластер функционирует под управлением операционной системы SLES 10SP2 (x86_64).

Рисунок 8. РСК “Торнадо” (Получение и хранение метеорологической информации ГВЦ Росгидромета)

Кластер (Вычислитель #3) РСК “Торнадо”пиковой производительностью 35 TFlops построен на 192 8-и ядерных процессорах Intel E5-2690 с оперативной памятью 6, 1 TB (1536 процессорных ядра, 4 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. В качестве шины взаимодействия используется технология Infiniband QDR. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения узлов кластера к дисковым массивам. Кластер функционирует под управлением операционной системы SLES 11SP2 (x86_64).

Кластер (Вычислитель #4) SGI ICE-X пиковой производительностью 14 TFlops построен на 72 10-и ядерных процессорах Intel E5-2670v2 с оперативной памятью 2, 3 TB (720 процессорных ядер, 3, 2 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. В качестве шины взаимодействия используется технология Infiniband FDR, топология Enhanced Hypercube IB Interconnect Topology. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения узлов кластера к дисковым массивам. Кластер функционирует под управлением операционной системы SLES 11SP3 (x86_64).

Вычислитель #5 SGI UV2000 пиковой производительностью 2 TFlops представляет собой систему с глобальной общей оперативной памятью, построен на 16 шести ядерных процессорах Intel E5-4617 с оперативной памятью 1 TB (96 процессорных ядер, 10 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения Вычислителя к дисковым массивам. Вычислитель функционирует под управлением операционной системы SLES 11SP3 (x86_64).

Дисковая подсистема общим объемом 180 TB имеет иерархическую структуру: 60TB SGI InfiniteStorage 4000 system (Дисковая система хранения данных) и 120TB SGI InfiniteStorage 10000 (Дисковая система хранения данных #2). Решение по Сети хранения данных (SAN) базируется на двух коммутаторах Brocade SilkWorm 48000 (48K) и файловой системе SGI CXFS, которая является параллельной файловой системой, направляющей поток данных через SAN. CXFS обеспечивает соединение всех необходимых технологических серверов и узлов Вычислителя #1 с Дисковой системой хранения данных. Файловая система работает совместно с SGI DMF – системой иерархического управления хранением SGI Hierarchical Storage Management, которая обеспечивает миграцию данных между дисковыми подсистемами. Вычислитель #2 подключается к параллельной файловой системе непосредственным отказоустойчивым подключением к серверам метаданных (SGI Altix 450).

Дисковая система хранения данных#3 строится на базе дисковых массивов 14 TB IBM Storwize V7000, 300 TB IBM System Storage DCS3700. Решение по Сети хранения данных реализовано путем установки двух FC коммутаторов Express IBM System Storage SAN24B-4 с подключением к коммутаторам SW 48K и файловой системе GPFS, которая является параллельной файловой системой. GPFS обеспечивает соединение всех необходимых технологических серверов и узлов Вычислителя #3 с Дисковой системой хранения данных #3. Миграция данных между дисковыми подсистемами осуществляется также средствами GPFS.

Для обеспечения функционирования и управления компонентами вычислительной инфраструктуры используются Служба каталогов Microsoft Windows и ассоциированные с ней общесистемные службы. В число этих служб входят инфраструктура общего каталога на базе Microsoft Active Directory, базовые сетевые сервисы DHCP, DNS, WINS, NTP. В качестве почтовой серверной службы используется Microsoft Exchange, в качестве унифицированных коммуникаций используется Microsoft Lync.

ЛВС построена на базе:

· Уровень ядра – коммутаторы Cisco 6509

· Уровень распределения – коммутаторы Cisco 4948 с подключением к коммутаторам уровня ядра на скорости 10 Gbps по оптоволоконному каналу связи

· Уровень резервирования серверной фабрики – коммутаторы Cisco 4948 с подключением к коммутаторам уровня ядра на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.

· Уровень доступа – коммутаторы Cisco 2960 и Cisco 3650 с подключением к коммутаторам ядра и/или уровня распределения на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.

Система управления ЛВС реализована с использованием интегрированного решения CiscoLMS (элемент-менеджер активного оборудования) и HP OpenView NNMi (энтерпрайс-менеджер оборудования).Для организации счета на вычислительных комплексах используется Altair PBSPro.

Практическая часть.

⇐ Предыдущая 123 4 Следующая ⇒