Создание высокоуровневых средств разработки грид-сервисов и интеграции программных ресурсов в грид-систему

Сентябрь 7, 2022

Главная
Алгебра
Создание высокоуровневых средств разработки грид-сервисов и интеграции программных ресурсов в грид-систему

Содержание

2. Инструментарий IARnet Программный инструментарий для интеграции информационно-алгоритмических ресурсов в глобальной сети при решении прикладных задач Ориентирован
3. Прикладные сервисы Служебные сервисы Grid-сервисы Регистрация и поиск сервисов Композиция сервисов Запуск вычислений на МВК MATLAB
4. 2007 Анализ современных технологий построения распределенных вычислительных сред Архитектура унифицированного программного инструментария, обеспечивающего интеграцию информационно-алгоритмических ресурсов
5. Эволюция Grid Первое поколение Доступ к высокопроизводительным вычислительных ресурсам Интерфейс batch-системы Ресурсы предоставляются крупными Grid-сайтами Пользователи
6. Эволюция Grid Первое поколение Доступ к высокопроизводительным вычислительных ресурсам Интерфейс batch-системы Ресурсы предоставляются крупными Grid-сайтами Пользователи
7. Сервис-ориентированный подход Виртуализация ресурсов в виде удаленно доступных сервисов, снабженных метаданными и обнаруживаемых через специальные сервисы
8. Характеристики инструментария IARnet Языки программирования Java и C++ для разработки сервисов Java для разработки клиентских приложений
9. Сетевая архитектура IARnet
10. 2008 Реализация служебных сервисов Механизм обеспечения безопасности Развертывание сервисов в действующей Grid-инфраструктуре Испытания созданных программных средств
11. Служебные сервисы Информационная служба Служба управления сценариями Сервис доступа к ресурсам, функционирующим на МВК
12. Информационная служба Публикация описаний ресурсов и типов ресурсов Использование технологий Semantic Web Спецификация модели метаданных в
13. Служба управления сценариями
14. Механизм безопасности Стандартные технологии и спецификации, применяемые в Grid Криптография с открытым ключом Цифровые сертификаты (стандарты
15. Развертывание сервисов в действующей Grid-инфраструктуре Совместимость с Grid реализована на уровне механизма безопасности Сервис IARnet может
16. Испытания созданных программных средств и сервисов Испытания реализаций сетевого уровня IARnet на основе ППО CORBA, Ice
17. Сервис доступа к ресурсам, функционирующим на МВК Программный комплекс BNB-Grid
18. BNB-GRID: РАСПРЕДЕЛЕННАЯ ИНФРАСТРУКТУРА ДЛЯ СУПЕРКОМПЬЮТЕРНЫХ ПРИЛОЖЕНИЙ В ОБЛАСТИ КОНЕЧНОМЕРНОЙ ОПТМИЗАЦИИ Internet Позволяет: проводить расчеты на разнородных,
19. ПОИСК КОНФОРМЕРОВ С МИНИМАЛЬНОЙ ЭНЕРГИЕЙ ВЗАИМОДЕЙСТВИЯ BNB GRID ВИЗУАЛИЗАЦИЯ МСЦ РАН ИСА РАН ВЦ РАН ИСП
20. Лабораторный грид ресурсов Maxima
21. Патентные исследования Инструментарий IARnet не подпадает под действия недавно поданных патентов, а также не нарушает требований
22. Индикаторы программы Число завершенных НИР – 1 Число публикаций – 5 Число патентов – 1 (свидетельство
23. Спасибо за внимание!
24. Программная инфраструктура
25. jLite: интеграция с Grid-инфраструктурой Простой программный интерфейс для запуска вычислительных заданий в Grid на основе ПО
26. MathCloud Сетевая среда для математиков Состоит из независимо существующих в Интернете математических сервисов Предоставляет удаленный доступ
27. Преимущества MathCloud Использование программ без их установки Простая возможность объединения различных существующих математических пакетов Возможность включения
28. Примеры сервисов Генерация и визуализация многогранников с заданными свойствами Плотнейшая упаковка пространства Построение разбиения Вороного
29. Приложения Задачи, декомпозируемые на несколько типовых подзадач с хорошей программно-алгоритмической проработкой (существуют соотв. ресурсы) В общем
30. Задача оптимального управления: Схема распределенного решения
31. Задачи глобальной оптимизации Возможные постановки (для непрерывных задач): - найти глобальный минимум, - найти все локальные
32. Особенности методов решения задач ГО Много общего в методах решения для различных задач оптимизации Высокая трудоемкость
33. Программный комплекс BNB-Grid
34. Поиск конфигурации молекулярного кластера с минимальной энергией взаимодействия
35. Вычислительный эксперимент Число процессоров, задействованных в вычислениях, изменялось в процессе расчетов, т.к. компоненты, запущенные на МВК
36. Среда для исследования геометрических свойств оптимальных конфигураций атомов возможность удобного ввода исходных данных задачи поиск конфигурации
37. Многогранники и геометрическая структура молекулярного кластера
41. Большое прикладное значение имеют упаковки, состоящие из неоднородных элементов Плотнейшая упаковка из шаров с разными радиусами
42. Система Лоренца
43. Траектории, исходящие из двух близких начальных точек
44. Распределенное имитационное моделирование Декомпозиция модели на составные блоки Блоки являются алгоритмическими ресурсами Размещение блоков в распределенной
45. EDISON (European Distributed Interactive Simulation Over Network), 1998-2001, http://cec.to.alespazio.it/EDISON/ Система интеграции различных "отраслевых" имитационных моделей Основное
46. Проекты для ESA (Европейское Космическое Агентство) DIS–RVM (Distributed Interactive Simulation for Rendez-Vous Mission), 1998-2000, www.estec.esa.nl/wmwww/EMM/activities/stds/dis/dis.html Распределенный
47. Академические проекты Спроектирована и запущена в эксплуатацию автономная система, обеспечивающая доступ в Интернет для группы институтов
49. Скачать презентацию

Слайд 2

Инструментарий IARnet
Программный инструментарий для интеграции информационно-алгоритмических ресурсов в глобальной сети при

решении прикладных задач
Ориентирован на решение задач, допускающих многоуровневую декомпозицию на несколько типовых подзадач с хорошей программно-алгоритмической проработкой
Реализует высокоуровневую модель программирования, доступную широкому кругу прикладных программистов

Слайд 3

Прикладные сервисы
Служебные сервисы
Grid-сервисы
Регистрация
и поиск сервисов
Композиция
сервисов
Запуск
вычислений на
МВК
MATLAB
Maxima
BNB-Grid

Слайд 4

2007
Анализ современных технологий построения распределенных вычислительных сред
Архитектура унифицированного программного инструментария, обеспечивающего

интеграцию информационно-алгоритмических ресурсов на принципах сервис-ориентированной архитектуры грид-вычислений
Реализация базовых компонентов инструментария
Средства разработки сервисов
Среды развертывания сервисов
Средства разработки приложений

Слайд 5

Эволюция Grid
Первое поколение
Доступ к высокопроизводительным вычислительных ресурсам
Интерфейс batch-системы
Ресурсы предоставляются крупными Grid-сайтами
Пользователи

не имеют возможности использовать чужие наработки
Необходимая основа для второго поколения Grid

Слайд 6

Эволюция Grid
Первое поколение
Доступ к высокопроизводительным вычислительных ресурсам
Интерфейс batch-системы
Ресурсы предоставляются крупными Grid-сайтами
Пользователи

не имеют возможности использовать чужие наработки
Необходимая основа для второго поколения Grid

Второе поколение
Доступ к высокоуровневым сервисам для решения определенных задач
Web-интерфейсы, порталы
Сервисы создаются пользователями Grid
Пользователи могут объединять чужие сервисы в новые сервисы
Сервисы используют вычислительные ресурсы Grid

Слайд 7

Сервис-ориентированный подход
Виртуализация ресурсов в виде удаленно доступных сервисов, снабженных метаданными и

обнаруживаемых через специальные сервисы поиска
IARnet
Средства быстрого создания сервисов
API для создания приложений, использующих сервисы
Регистрация и поиск сервисов
Композиция сервисов на основе workflow-технологий

Слайд 8

Характеристики инструментария IARnet
Языки программирования
Java и C++ для разработки сервисов
Java для разработки

клиентских приложений
Типы данных
Примитивные, массивы, коллекции (List, Set, Map)
Независимость от промежуточного ПО
Реализации транспортного уровня для CORBA, SOAP и Ice
Асинхронные вызовы
Службы
Информационная служба - регистрация и поиск сервисов
Служба управления сценариями – описание и выполнение распределенных вычислительных процессов (workflows)

Слайд 9

Сетевая архитектура IARnet

Слайд 10

2008
Реализация служебных сервисов
Механизм обеспечения безопасности
Развертывание сервисов в действующей Grid-инфраструктуре
Испытания созданных

программных средств и сервисов
Патентные исследования

Слайд 11

Служебные сервисы
Информационная служба
Служба управления сценариями
Сервис доступа к ресурсам, функционирующим на МВК

Слайд 12

Информационная служба
Публикация описаний ресурсов и типов ресурсов
Использование технологий Semantic Web
Спецификация модели

метаданных в виде онтологии на языке OWL
Формат представления метаданных - Resource Description Framework (RDF)
Поддержка информационных запросов на языке SPARQL

Слайд 13

Служба управления сценариями

Слайд 14

Механизм безопасности
Стандартные технологии и спецификации, применяемые в Grid
Криптография с открытым ключом
Цифровые

сертификаты (стандарты PKI, X.509)
Протоколы SSL/TLS
Реализация на основе ППО Ice
Клиенты и контейнеры сервисов IARnet могут быть снабжены цифровыми сертификатами
Конфиденциальность и целостность передаваемых по сети данных
Взаимная аутентификация сторон

Слайд 15

Развертывание сервисов в действующей Grid-инфраструктуре
Совместимость с Grid реализована на уровне механизма

безопасности
Сервис IARnet может авторизовать клиентов, снабженных сертификатами пользователей Grid
Пример
Сервис доступа к пакету символьных вычислений Maxima
Принимает запросы от клиентов с сертификатами пользователей RDIG (Russian Data Intensive Grid)

Слайд 16

Испытания созданных программных средств и сервисов
Испытания реализаций сетевого уровня IARnet на

основе ППО CORBA, Ice и Web-сервисов
Проверка масштабируемости информационной службы и службы управления сценариями IARnet
Проверка совместимости с ППО действующей грид-системы
Проверка надежности работы в течение длительного времени
Проверка непрерывной доступности сервисов

Слайд 17

Сервис доступа к ресурсам, функционирующим на МВК
Программный комплекс BNB-Grid

Слайд 18

BNB-GRID: РАСПРЕДЕЛЕННАЯ ИНФРАСТРУКТУРА ДЛЯ СУПЕРКОМПЬЮТЕРНЫХ ПРИЛОЖЕНИЙ В ОБЛАСТИ КОНЕЧНОМЕРНОЙ ОПТМИЗАЦИИ
Internet
Позволяет:
проводить

расчеты на разнородных, географически удаленных суперкомпьютерных ресурсах;
решать различные задачи оптимизации точными и эвристическим методами;
проводить расчеты в течение длительного времени с контрольными точками и устойчивостью к сбоям.

Слайд 19

ПОИСК КОНФОРМЕРОВ С МИНИМАЛЬНОЙ ЭНЕРГИЕЙ ВЗАИМОДЕЙСТВИЯ
BNB
GRID
ВИЗУАЛИЗАЦИЯ
МСЦ РАН
ИСА РАН
ВЦ РАН
ИСП РАН

Слайд 20

Лабораторный грид ресурсов Maxima

Слайд 21

Патентные исследования
Инструментарий IARnet не подпадает под действия недавно поданных патентов, а

также не нарушает требований лицензионной и патентной чистоты используемых компонент и библиотек

Слайд 22

Индикаторы программы
Число завершенных НИР – 1
Число публикаций – 5
Число патентов –

1 (свидетельство о регистрации программы для ЭВМ)
Число диссертаций – 1
Участие в выставках и дипломы
Перспективные технологии XXI века (30.09-03.10 2008)
Softool (30.09-03.10 2008)

Слайд 23

Спасибо за внимание!

Слайд 24

Программная инфраструктура

Слайд 25

jLite: интеграция с Grid-инфраструктурой
Простой программный интерфейс для запуска вычислительных заданий в

Grid на основе ПО gLite
Реализация на Java с поддержкой различных операционных систем
Не требуется установка ПО gLite

Слайд 26

MathCloud
Сетевая среда для математиков
Состоит из независимо существующих в Интернете математических сервисов
Предоставляет

удаленный доступ к математическим ресурсам
Позволяет объединять различные сервисы для решения математических задач
Использует сервис-ориентированный подход, Web-технологии и модель REST

Слайд 27

Преимущества MathCloud
Использование программ без их установки
Простая возможность объединения различных существующих математических

пакетов
Возможность включения в среду программ, написанных пользователем
Публикация результатов своей работы: как различных математических конструкций, так и специализированных программ
Возможность предоставлять гибкий доступ к своим программам, в частности, в формате аренды приложений
Интеграция с существующими в Интернете математическими ресурсами

Слайд 28

Примеры сервисов
Генерация и визуализация многогранников с заданными свойствами
Плотнейшая упаковка пространства
Построение разбиения

Вороного

Слайд 29

Приложения
Задачи, декомпозируемые на несколько типовых подзадач с хорошей программно-алгоритмической проработкой (существуют

соотв. ресурсы)
В общем случае, различные виды подзадач
Требуется
Координация ресурсов
Интерактивное управление процессом вычислений
Примеры
Интеграция математических ресурсов (совместно с МИ РАН)
Распределенное имитационное моделирование (совместно с ВЦ РАН)
Геоинформационные приложения (программа “Электронная Земля”)
Решение задач конечномерной оптимизации

Слайд 30

Задача оптимального управления: Схема распределенного решения

Слайд 31

Задачи глобальной оптимизации
Возможные постановки (для непрерывных задач): - найти глобальный минимум,

- найти все локальные минимумы, - найти все стационарные точки.

Основные типы: - непрерывная оптимизация; - дискретная оптимизация; - смешанные задачи.

Слайд 32

Особенности методов решения задач ГО
Много общего в методах решения для различных

задач оптимизации
Высокая трудоемкость
Декомпозиционная структура методов решения
Необходимость разработки универсальных программных решений, обеспечивающих высокую производительность

Слайд 33

Программный комплекс BNB-Grid

Слайд 34

Поиск конфигурации молекулярного кластера с минимальной энергией взаимодействия

Слайд 35

Вычислительный эксперимент
Число процессоров, задействованных в вычислениях, изменялось в процессе расчетов, т.к.

компоненты, запущенные на МВК с пакетной обработкой работали периодически завершались и запускались вновь.

Слайд 36

Среда для исследования геометрических свойств оптимальных конфигураций атомов
возможность удобного ввода исходных

данных задачи
поиск конфигурации молекулы с минимальной энергией
интерактивное исследования полученной конфигурации,
внесение изменений в ее структуру с последующим применением численных методов для анализа полученной конфигурации, и ее деформации с целью минимизации энергии взаимодействия.

Слайд 37

Многогранники и геометрическая структура молекулярного кластера

Слайд 38

Слайд 39

Слайд 40

Слайд 41

Большое прикладное значение имеют упаковки, состоящие из неоднородных элементов
Плотнейшая упаковка из

шаров с разными радиусами

Слайд 42

Система Лоренца

Слайд 43

Траектории, исходящие из двух близких начальных точек

Слайд 44

Распределенное имитационное моделирование
Декомпозиция модели на составные блоки
Блоки являются алгоритмическими ресурсами
Размещение блоков

в распределенной среде
Производительность и масштабируемость
Несовместимые требования к ресурсам
Различные разработчики и владельцы
Интеграция блоков модели в рамках имитационного эксперимента

Слайд 45

EDISON (European Distributed Interactive Simulation Over Network), 1998-2001, http://cec.to.alespazio.it/EDISON/
Система интеграции различных

"отраслевых" имитационных моделей
Основное ППО (промежуточное ПО, middleware) - HLA (High Level Architecture).
DSE (Distributed System Engineering), 2000-2002, http://cec.to.alespazio.it/DSE/
Система поддержки распределенной работы над проектами, на протяжении всего "жизненного цикла".
Основное ППО - CORBA (Common Object Request Broker Arch.).
GeneSyS (Generic System Supervision), 2002-2004, http://genesys.sztaki.hu/
Система и стандарт мониторинга состояния аппаратных и программных компонент распределенных вычислительных систем
Основное ППО - Web-сервисы.
Публикации:
Spacecraft Operator Training Using Infrastructure Developed in EDISON Project, Proc. "Sim. Interop. Workshop", Orlando, 2000
Cooperative Environments for Distributed Systems Engineering. The Distributed Systems Environment Report. Lecture Notes in Computer Science, 2236 Springer 2001

Международные исследовательские проекты по программе EC IST

Слайд 46

Проекты для ESA (Европейское Космическое Агентство)
DIS–RVM (Distributed Interactive Simulation for Rendez-Vous

Mission), 1998-2000, www.estec.esa.nl/wmwww/EMM/activities/stds/dis/dis.html
Распределенный симулятор процесса причаливания транспортного корабля к международной космической станции
Стандарты - DIS (Distributed Interactive Simulation), HLA
ADL-FS (Advance Distributive Learning: Feasibility Study for ESA Programmes), 2001, http://www.estec.esa.nl/wmwww/EMM/activities/stds/adl/
Распределенная система обучения наземного персонала по использованию элемента оборудования на европейском модуле "Columbus". Включает упражнения с распределенным симулятором.
Стандарты - ADL SCORM (Sharable Content Object Model), CORBA
Публикации:
"Distributed Interactive Simulation of Rendezvous and Docking with International Space Station". Proc. of the ‘97 Fall Sim. Interop. Workshop, Orlando, Fla, US, 8-12 Sept. 1997.
“Remote Intervention in Automatic Onboard GNC Systems”. Proc. of 3rd International Conference on Spacecraft GNC Systems, ESTEC, Noordwijk, The Netherlands, 26-29 November 1996, ESA SP-381 (February 1997).
“ATV Proximity Operations Validation and Rehearsal Using Distributed Simulation”. Proc. of AIAA ISS Service Vehicles Conference, Houston, Tx, USA, April 1999.
“Distributed Learning with Online Simulations for ISS Payload Training”. 7th International Workshop on Simulation for European Space Programmes, SESP 2002, 12-14 November 2002, ESTEC, Noordwijk, The Netherlands.

Слайд 47

Академические проекты
Спроектирована и запущена в эксплуатацию автономная система, обеспечивающая доступ в

Интернет для группы институтов РАН.
Создана ЛВС ОИТВС РАН
http://oivta.isa.ru/
ДИАР
В рамках проекта «Информатизация РАН» запущена в эксплуатацию система доступа к удаленным информационно-алгоритмическим ресурсам «ДИАР».
http://www.isa.ru/diar; http://uis.isir.ras.ru/win/htm/scientific_activity.html?p=5p6p4
Публикации:
WWW-сервер ОИВТА РАН, Информационные технологии и вычислительные системы, № 2, 1999
“Современные технологии построения распределенных программных систем”, Сборник трудов ИСА РАН, М.,: Эдиториал УРСС, 2001.

Создание высокоуровневых средств разработки грид-сервисов и интеграции программных ресурсов в грид-систему

Содержание

Инструментарий IARnetПрограммный инструментарий для интеграции информационно-алгоритмических ресурсов в глобальной сети при

Прикладные сервисыСлужебные сервисыGrid-сервисыРегистрация и поиск сервисовКомпозициясервисовЗапуск вычислений наМВКMATLABMaximaBNB-Grid

2007Анализ современных технологий построения распределенных вычислительных средАрхитектура унифицированного программного инструментария, обеспечивающего

Сервис-ориентированный подходВиртуализация ресурсов в виде удаленно доступных сервисов, снабженных метаданными и

Характеристики инструментария IARnetЯзыки программированияJava и C++ для разработки сервисовJava для разработки

Сетевая архитектура IARnet

2008Реализация служебных сервисовМеханизм обеспечения безопасностиРазвертывание сервисов в действующей Grid-инфраструктуреИспытания созданных

Служебные сервисыИнформационная службаСлужба управления сценариямиСервис доступа к ресурсам, функционирующим на МВК

Информационная службаПубликация описаний ресурсов и типов ресурсовИспользование технологий Semantic WebСпецификация модели

Служба управления сценариями

Механизм безопасностиСтандартные технологии и спецификации, применяемые в GridКриптография с открытым ключомЦифровые

Развертывание сервисов в действующей Grid-инфраструктуреСовместимость с Grid реализована на уровне механизма

Испытания созданных программных средств и сервисовИспытания реализаций сетевого уровня IARnet на

Сервис доступа к ресурсам, функционирующим на МВКПрограммный комплекс BNB-Grid

BNB-GRID: РАСПРЕДЕЛЕННАЯ ИНФРАСТРУКТУРА ДЛЯ СУПЕРКОМПЬЮТЕРНЫХ ПРИЛОЖЕНИЙ В ОБЛАСТИ КОНЕЧНОМЕРНОЙ ОПТМИЗАЦИИInternetПозволяет: проводить

ПОИСК КОНФОРМЕРОВ С МИНИМАЛЬНОЙ ЭНЕРГИЕЙ ВЗАИМОДЕЙСТВИЯBNBGRIDВИЗУАЛИЗАЦИЯМСЦ РАНИСА РАНВЦ РАНИСП РАН

Лабораторный грид ресурсов Maxima

Патентные исследованияИнструментарий IARnet не подпадает под действия недавно поданных патентов, а

Индикаторы программыЧисло завершенных НИР – 1Число публикаций – 5Число патентов –