Области применения НРС

Сентябрь 14, 2022

Главная
Алгебра
Области применения НРС

Содержание

2. ОБЛАСТИ ПРИМЕНЕНИЯ НРС Проектирование инженерных сооружений, автомобилей, судов и летательных аппаратов, комплексный экологический мониторинг атмосферы и
3. CОВРЕМЕННЫЕ СУПЕРКОМПЬЮТЕРЫ Три группы компьютеров для НРС: векторные; высокопроизводительные универсальные; специализированные Векторные: создатель Сеймур Крей, SX-9
4. ОСНОВНЫЕ КЛАССЫ ПАРАЛЛЕЛЬНЫХ КОМПЬЮТЕРОВ Основным параметром классификации паралелльных компьютеров является наличие общей (SMPОсновным параметром классификации паралелльных
5. Системы с распределенной памятью (МРР) Оперативная память Кэш-память Процессор Оперативная память Кэш-память Процессор
6. Массивно-параллельные системы МPP
7. Системы с общей памятью (SМР) Кэш-память Процессор Общая (разделяемая) оперативная память Кэш-память Процессор
8. Симметричные мультипроцессорные системы (SMP)
9. Системы с NUMA-архитектурой Оперативная память Оперативная память
10. Системы с неоднородным доступом к памяти (NUMA)
11. КЛАСТЕРННЫЕ СУПЕРКОМПЬЮТЕРЫ Появление высокопроизводительных кластеров не явилось большой неожиданностью. Вопрос об объединении сетевых ресурсов в единый
12. Общая структура кластерного суперкомпьютера Сеть управления Сеть обмена данными Управляющий узел Вычислитель- ный узел 1 Вычислитель-
13. Кластерные системы
14. Суперкомпьютер СКИФ МГУ Общая характеристика
15. Blade-шасси, СКИФ МГУ 10 модулей T-Blade, 960 GFlop/s
16. Скиф МГУ Площадь зала 98 кв. метров
17. Суперкомпьютер Roadrunner, IBM (10 июня 2008, Источник: BBC News) Пиковая производительность 1,5 Pflop/s 3456 оригинальных серверов
19. Платформы НРС На формирование образа суперкомпьютеров близкого будущего повлияют несколько ключевых технологических факторов: технологии миниатюризации серверов;
20. ВЫЧИСЛИТЕЛЬНЫЕ УЗЛЫ (СЕРВЕРА) История создания блейд - серверов Лезвия изобрел Крис Хипп во время Internet-бума конца
21. Одно из первых лезвий
22. Суперкомпьютер Green Destiny — кластер Beowulf (на лезвиях)
23. Основные требования к блейд – серверам (НР) Гибкость Снижение энергопотребления и ресурсов охлаждения Средства консолидированного управления
24. Сервер BladeCenter HS21 для кластера IBM 1350 Схема сервера
25. Кластер состоит из 6 «блейд-серверов» IBM BladeCenter HS21xx, один из которых управляющий, один запасной и четыре
26. Характеристики BladeCenter HS21
27. Программное обеспечение Операционная система - Red Hat Enterprise Linux Параллельная файловая система - IBM General Parallel
28. НР Полка c7000 — вид спереди Два форм-фактора блейдов Полноразмерный блейд-сервер (до 8 в одной полке)
29. Полка c7000 — вид сзади Восемь коммутационных отсеков До 4 резервированных фабрик ввода/вывода Ethernet, Fibre Channel,
30. Топология серверов НР Integrity
31. Integrity rx7640 имеют две связанные напрямую ячейки; координатные коммутаторы не используются (восемь процессорных разъемов, в стойке
32. КОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ Основные: Fast EthertnetОсновные: Fast Ethertnet, Gigabit EthernetОсновные: Fast Ethertnet, Gigabit Ethernet, MyrinetОсновные: Fast Ethertnet,
33. Gigabit Ethernet Производители оборудования: Intel, 3COM и др. Показатели производительности: Пиковая пропускная способность - 1 Gbit/sec
34. Myrinet 2000 Производители оборудования: Myricom Показатели производительности: Пиковая пропускная способность - 2 Gbit/sec, полный дуплекс. Аппаратная
35. InfiniBand Производители оборудования: InfiniBand Trade Association Показатели производительности: Пиковая пропускная способность каналов 10 GB/sec, латентность -
36. Архитектура InfiniBand Адаптер канала хоста (Host Channel Adapter, HCA). Инициация и организация обмена. Взаимодействие: с аналогичными
37. Архитектура InfiniBand Целевой адаптер канала (Target Channel Adapter, TCA). Используется для подключения не серверов, а внешних
38. Модуль InfiniBand на 24 канала
40. Скачать презентацию

Слайд 2

ОБЛАСТИ ПРИМЕНЕНИЯ НРС
Проектирование инженерных сооружений, автомобилей, судов и летательных аппаратов, комплексный

экологический мониторинг атмосферы и гидросферы, предсказание погоды, астрофизика и космические исследования, нанотехнологии, молекулярные науки, генетика, медицина, разработка лекарственных препаратов, рациональное использование лесных и минеральных ресурсов, разведка нефтегазовых месторождений, управляемого термоядерного синтеза, геоинформационных систем, систем распознавания и синтеза речи, систем распознавания изображений и другие направления деятельности человека просто немыслимы в настоящее время без применения компьютерного моделирования с использованием высокопроизводительных вычислений и параллельных компьютерных технологий.

Слайд 3

CОВРЕМЕННЫЕ СУПЕРКОМПЬЮТЕРЫ
Три группы компьютеров для НРС: векторные; высокопроизводительные универсальные; специализированные
Векторные:

создатель Сеймур Крей, SX-9 (NEC) имеет 8192 процессора и 840 TFLOPS векторной производительности (970 TFLOPS— с одновременной работы скалярного блока с плавающей запятой). Около 1 PFLOPS! Обмен с памятью 2Тбайт/с на 4 процессора.
Универсальные: лидер RISC-процессор IBM Power6 с тактовой частотой 4,7 ГГц, 20 GFLOPS, 64 разряда (65 nm). Повышение производительности – многоядерность, копируются ядра на кристалле.
Специализированные: 32 разряд. программируемые графические процессоры (Graphical Processor Unit, GPU), процессоры Сell/B.E разработки IBM, Sony и Toshiba , ускорители вычислений с плавающей запятой типа ClearSpeed и др. Некоторые из этих средств реализованы в форме отдельных плат— «акселераторов» вычислений, другие (например, Cell) интегрируют в одной микросхеме и «спецсредства», и универсальные процессоры.

Слайд 4

ОСНОВНЫЕ КЛАССЫ ПАРАЛЛЕЛЬНЫХ КОМПЬЮТЕРОВ
Основным параметром классификации паралелльных компьютеров является наличие общей

(SMPОсновным параметром классификации паралелльных компьютеров является наличие общей (SMP) или распределенной памяти (MPPОсновным параметром классификации паралелльных компьютеров является наличие общей (SMP) или распределенной памяти (MPP). Нечто среднее между SMP и MPP представляют собой NUMAОсновным параметром классификации паралелльных компьютеров является наличие общей (SMP) или распределенной памяти (MPP). Нечто среднее между SMP и MPP представляют собой NUMA-архитектуры, где память физически распределена, но логически общедоступна. КластерныеОсновным параметром классификации паралелльных компьютеров является наличие общей (SMP) или распределенной памяти (MPP). Нечто среднее между SMP и MPP представляют собой NUMA-архитектуры, где память физически распределена, но логически общедоступна. Кластерные системы являются более дешевым вариантом MPP. При поддержке команд обработки векторных данных говорят о векторно-конвейерных процессорах, которые, в свою очередь могут объединяться в PVPОсновным параметром классификации паралелльных компьютеров является наличие общей (SMP) или распределенной памяти (MPP). Нечто среднее между SMP и MPP представляют собой NUMA-архитектуры, где память физически распределена, но логически общедоступна. Кластерные системы являются более дешевым вариантом MPP. При поддержке команд обработки векторных данных говорят о векторно-конвейерных процессорах, которые, в свою очередь могут объединяться в PVP-системы с использованием общей или распределенной памяти. Все большую популярность приобретают идеи комбинирования различных архитектур в одной системе и построения неоднородных систем. При организациях распределенных вычислений в глобальных сетях (Интернет) говорят о мета-компьютерах, которые, строго говоря, не представляют из себя параллельных архитектур.

Слайд 5

Системы с распределенной памятью (МРР)
Оперативная
память
Кэш-память
Процессор
Оперативная
память
Кэш-память
Процессор

Слайд 6

Массивно-параллельные системы МPP

Слайд 7

Системы с общей памятью (SМР)
Кэш-память
Процессор
Общая (разделяемая) оперативная память
Кэш-память
Процессор

Слайд 8

Симметричные мультипроцессорные системы (SMP)

Слайд 9

Системы с NUMA-архитектурой
Оперативная
память
Оперативная
память

Слайд 10

Системы с неоднородным доступом к памяти (NUMA)

Слайд 11

КЛАСТЕРННЫЕ СУПЕРКОМПЬЮТЕРЫ
Появление высокопроизводительных кластеров не явилось большой неожиданностью. Вопрос об объединении

сетевых ресурсов в единый вычислительный пул «висел в воздухе». Соответствующее решение было найдено с использованием технологий, предназначенных для локальных сетей (прежде всего Ethernet), достигших к тому времени нужного уровня развития. Будущее показало, что локальные сети — не единственный способ превратить множество вычислительных узлов в единый компьютер: сети такого рода могут быть как глобальными, так и сетями на одном кристалле.
В 1994 году сотрудники NASA Дональд Беккер и Томас Стерлинг создали кластер Beowulf. Он состоял из 16 процессоров Intel 486DX4, соединенных 10-мегабитной сетью Ethernet. Кластеры Beowulf сегодня доминируют во всех списках самых производительных вычислительных систем. Главной особенностью таких компьютеров было и остается то, что их можно собрать из имеющихся на рынке продуктов, раньше это были системные блоки, а сегодня — серверы-лезвия.

Слайд 12

Общая структура кластерного суперкомпьютера
Сеть управления
Сеть обмена данными
Управляющий
узел
Вычислитель-
ный узел 1
Вычислитель-
ный узел

Вычислитель-
ный узел N

• • •

Один управляющий узел, остальные вычислительные, связанные в локальную сеть.
Управляющий узел: подготовка параллельных программ и данных, взаимодействие с вычислительными узлами через управляющую сеть.
Вычислительные узлы: выполнение параллельной программы, обмен данными через коммуникационную сеть.

Слайд 13

Кластерные системы

Слайд 14

Суперкомпьютер СКИФ МГУ
Общая характеристика

Слайд 15

Blade-шасси, СКИФ МГУ 10 модулей T-Blade, 960 GFlop/s

Слайд 16

Скиф МГУ Площадь зала 98 кв. метров

Слайд 17

Суперкомпьютер Roadrunner, IBM (10 июня 2008, Источник: BBC News)
Пиковая производительность 1,5

Pflop/s
3456 оригинальных серверов tri-blade
Производительность сервера tri-blade – 0,4 Tflops
Гибридная архитектура
20 тысяч высокопроизводительных двухъядерных процессоров – 6948 AMD Opteron20 тысяч высокопроизводительных двухъядерных процессоров – 6948 AMD Opteron и 12 960 Cell Broadband Engine производства самой IBM
Системная память - 80 Tерабайт
Занимаемая площадь около 560 кв. метров
Общий вес оборудования - 226 тонн
Энергопотребление - 3,9 мегаватта (376 миллионов операций на один ватт)

Слайд 18

Слайд 19

Платформы НРС
На формирование образа суперкомпьютеров близкого будущего повлияют несколько ключевых технологических

факторов:
технологии миниатюризации серверов; это, прежде всего, широкое принятие лезвий, хотя одновременно появляются и новые конструкции тонких «стоечных» серверов, перспективность которых также нельзя исключать;
широкое распространение технологий организации межсоединений на основе Infiniband;
новая система тестирования, расширяющая «классические» тесты Linpack Benchmarks.

Слайд 20

ВЫЧИСЛИТЕЛЬНЫЕ УЗЛЫ (СЕРВЕРА) История создания блейд - серверов
Лезвия изобрел Крис Хипп

во время Internet-бума конца 90-х. В основе банальная идея — заменить монолитные серверы простыми платами с процессорами архитектуры x86, работающими под управлением ОС Linux. В декабре 1999 года эта идея окончательно оформилась, и 1 января 2000 года была создана компания RocketLogix.
Первым суперкомпьтером на блейд-серверах стал кластер Green Destiny.
Компании производители: в первую очередь, IBM и HP (купила RLX Technologies); в меньших масштабах Dell, Sun Microsystems и другие.
Сегодня крупнейшим производителем лезвий является компания HP. В HP выдвигается лозунг о «всеобщей блейдизации» (Blade Everything).

Слайд 21

Одно из первых лезвий

Слайд 22

Суперкомпьютер Green Destiny — кластер Beowulf (на лезвиях)

Слайд 23

Основные требования к блейд – серверам (НР)
Гибкость
Снижение энергопотребления и ресурсов охлаждения
Средства

консолидированного управления
Активные средства обеспечения безопасности
Прозрачный механизм виртуализации
Автоматизация выполнения рутинных и трудоемких процедур и задач

Слайд 24

Сервер BladeCenter HS21 для кластера IBM 1350
Схема сервера

Слайд 25

Кластер состоит из 6 «блейд-серверов» IBM BladeCenter HS21xx, один из которых

управляющий, один запасной и четыре вычислительных.
Вычислительный модуль состоит из двух 4-х ядерных процессор Intel Xeon 5320 “Clovertown”. Кэш второго уровня динамически разделяется между двумя ядрами.
Два ядра, в зависимости от взаимного расположения могут обмениваться информацией либо через кэш 2 уровня, либо через шину FSB. Все 8 ядер для чтения /записи данных в ОЗУ, а так же для синхронизации одних и тех же данных в разных кэшах используют общую шину (FSB).

Слайд 26

Характеристики BladeCenter HS21

Слайд 27

Программное обеспечение
Операционная система - Red Hat Enterprise Linux
Параллельная файловая система

- IBM General Parallel File System.
Система управления пакетными заданиями – IBM Load Leveler.
Компиляторы - Intel C++ и Intel Fortran версии 10.1,
Библиотеки - Intel MKL версии 10.0 и Intel MPI 3.0.

Слайд 28

НР Полка c7000 — вид спереди
Два форм-фактора блейдов
Полноразмерный блейд-сервер (до

8 в одной полке)
Блейд-сервер половинной высоты (до 16 в одной полке)
Storage-блейд половинной высоты (до 90 дисков в одной полке)
Блоки питания
До 6 блоков питания с горячей заменой при мощности 2250 Вт
Управление
BladeSystem Insight Display
Модуль управления «Onboard Administrator»

Insight Display

Блейд-сервер половинной высоты – 2P

Полноразмерный блейд-сервер 2P/4P

Storage-блейд половинной высоты - до 420 ГБ

Блоки питания с возможностью горячей замены

Слайд 29

Полка c7000 — вид сзади
Восемь коммутационных отсеков
До 4 резервированных фабрик ввода/вывода
Ethernet,

Fibre Channel, iSCSI и InfiniBand
До 94% уменьшение количества кабелей
2 модуля управления «Onboard Administrator» (один стандартно)

8 коммутационных отсеков для коммутаторов или патч-панелей

Межполочная связь

Разъемы Ethernet и посл. интерфейса

Резервные модули Onboard Administrator

Отказоустойчи-вые вентиляторы с возможностью горячей замены

Резервные фидеры 3+3 C19 или трехфазные

Слайд 30

Топология серверов НР Integrity

Слайд 31

Integrity rx7640 имеют две связанные напрямую ячейки; координатные коммутаторы не используются

(восемь процессорных разъемов, в стойке высотой 10U, мах ОЗУ 64 Гбайта).
В rx8640 четыре ячейки соединены двумя коммутаторами (16 процессорных разъемов в стойке высотой 17U, мах ОЗУ 64 Гбайта).
В старших моделях, Superdome, имеется восемь ячеек и шесть коммутаторов, расположенных в двух стойках (32 процессорных разъема в 2-х стойках высотой 17U, мах ОЗУ 128 Гбайт).
Производительность серверов. На тестах TPC-C (задержка при обращении к ОЗУ): 2-х процессорные , 4-х ядерные серверы Integrity rx4640 с Itanium 2/1,6 ГГц достигли показателя 200829 tpmC со стоимостью $2,75/ tpmC; 8-ми ядерный 4-х процессорный сервер HP rx4640-8 с процессорами Itanium 2/1,6 ГГц (Мontecito) имеет 290644 tpmC при стоимости $2,71 /tpmC

Слайд 32

КОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ
Основные: Fast EthertnetОсновные: Fast Ethertnet, Gigabit EthernetОсновные: Fast Ethertnet, Gigabit

Ethernet, MyrinetОсновные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLANОсновные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCIОсновные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNetIIОсновные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNetII (QSW), MEMORY CHANNELОсновные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNetII (QSW), MEMORY CHANNEL, ServerNet IIОсновные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNetII (QSW), MEMORY CHANNEL, ServerNet II, InfiniBandОсновные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNetII (QSW), MEMORY CHANNEL, ServerNet II, InfiniBand, Flat Neighborhood.
Fast Ethernet
Производители оборудования: Intel, CISCO, 3Com и др.
Показатели производительности: Пиковая пропускная способность - 100 Mbit/sec (12.5 MB/sec), полный дуплекс. В рамках MPI достигаются скорости порядка 6-7 MB/sec.
Программная поддержка: Драйверы для всех версий UNIX и Windows NT, протоколы TCP/IP, MPICH - бесплатная переносимая реализация MPI.
Комментарии:Преимуществами данной технологии являются: хорошая стандартизация и широкое распространение, а также низкие цены на оборудование и использование стандартных сетевых кабелей (UTP).

Слайд 33

Gigabit Ethernet
Производители оборудования: Intel, 3COM и др.
Показатели производительности: Пиковая

пропускная способность - 1 Gbit/sec (125 MB/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 500 Mbit/sec (60 MB/sec), в рамках MPI - до 45 MB/sec
Программная поддержка: Драйверы для многих версий UNIX и Windows NT, протоколы TCP/IP.
Комментарии: Преимуществом данной технологии является совместимость и возможность плавного перехода с технологий Ethernet/Fast Ethernet.

Слайд 34

Myrinet 2000
Производители оборудования: Myricom
Показатели производительности: Пиковая пропускная способность -

2 Gbit/sec, полный дуплекс. Аппаратная латентность порядка 5 мксек. В рамках TCP/IP достигаются скорости порядка 1.7-1.9 Gbit/sec (240 MB/sec). Латентность - порядка 30 мксек.
Программная поддержка: Драйвера для Linux (Alpha, x86, PowerPC, UltraSPARC), Windows NT (x86), Solaris (x86, UltraSPARC) и Tru64 UNIX. Пакеты HPVM (включает MPI-FM, реализацию MPI для Myrinet), BIP-MPI и др.
Комментарии: Myrinet является открытым стандартом. На физическом уровне поддерживаются сетевые среды SAN (System Area Network), LAN (CL-2) и оптоволокно. Технология Myrinet дает высокие возможности масштабирования сети и в настоящее время очень широко используется при построении высокопроизводительных кластеров.

Слайд 35

InfiniBand
Производители оборудования: InfiniBand Trade Association
Показатели производительности: Пиковая пропускная способность каналов

10 GB/sec, латентность - 7 мксек.
Программная поддержка: MPICHMPICH - бесплатная переносимая реализация MPI,MPI/Pro - реализация MPI для Linux RedHat 7.3, 7.3.
Комментарии: InfiniBand предлагает удалённый прямой доступ в память (remote direct memory access - RDMA), позволяющий доставлять данные непосредственно в память процесса, не вовлекая системные вызовы. Данные могут передаваться 1-о,4-х и 12-ти кратной скоростью. Латентность на свиче InfiniBand составляет 160 наносекунд.

Слайд 36

Архитектура InfiniBand
Адаптер канала хоста (Host Channel Adapter, HCA). Инициация и

организация обмена.
Взаимодействие: с аналогичными адаптерами HCA,; с целевыми адаптерами канала; с коммутатором InfiniBand.
Менеджер подсети (Subnet Manager, SM).
Управление и мониторинг «матрицей InfiniBand» (InfiniBand fabric). Активный менеджер SM может размещаться на одном из узлов или непосредственно на одном из коммутаторов,
Снабжение необходимой коммутационной и конфигурационной информацией всех коммутаторов, входящих в InfiniBand fabric. Согласованная работа инфраструктуры поддерживается тем, что все остальные узлы структуры включают в себя специальные агенты, обеспечивающие обработку данных, относящихся к обмену. Менеджеры и агенты взаимодействуют по алгоритмам, заложенным в датаграммы Management Datagram.

Слайд 37

Архитектура InfiniBand
Целевой адаптер канала (Target Channel Adapter, TCA).
Используется для

подключения не серверов, а внешних устройств, в том числе устройств хранения и интерфейсов ввода/вывода, к инфраструктуре InfiniBand. Обычно адаптер TCA включает контроллер ввода/вывода, соответствующий специфическому протоколу устройства (SCSI, Fibre Channel, Ethernet и т.д.), и он же обеспечивает взаимодействие с адаптерами HCA и коммутатором InfiniBand.
Коммутатор InfiniBand.
Масштабируемость инфраструктуры InfiniBand. Он позволяет подключать необходимое число адаптеров HCA и TCA, а также дополнительные коммутаторы InfiniBand fabric.
Организация сетевого трафика, проверка заголовоков пакетов данных и направление их по месту назначения.
InfiniBand fabric может состоять несколько коммутаторов.

Слайд 38

Области применения НРС

Содержание

ОБЛАСТИ ПРИМЕНЕНИЯ НРСПроектирование инженерных сооружений, автомобилей, судов и летательных аппаратов, комплексный

CОВРЕМЕННЫЕ СУПЕРКОМПЬЮТЕРЫ Три группы компьютеров для НРС: векторные; высокопроизводительные универсальные; специализированные Векторные:

ОСНОВНЫЕ КЛАССЫ ПАРАЛЛЕЛЬНЫХ КОМПЬЮТЕРОВОсновным параметром классификации паралелльных компьютеров является наличие общей

Системы с распределенной памятью (МРР) Оперативная памятьКэш-памятьПроцессорОперативная памятьКэш-памятьПроцессор

Массивно-параллельные системы МPP

Системы с общей памятью (SМР) Кэш-памятьПроцессорОбщая (разделяемая) оперативная памятьКэш-памятьПроцессор

Симметричные мультипроцессорные системы (SMP)

Системы с NUMA-архитектуройОперативная памятьОперативная память

Системы с неоднородным доступом к памяти (NUMA)

КЛАСТЕРННЫЕ СУПЕРКОМПЬЮТЕРЫПоявление высокопроизводительных кластеров не явилось большой неожиданностью. Вопрос об объединении

Общая структура кластерного суперкомпьютераСеть управленияСеть обмена даннымиУправляющий узелВычислитель-ный узел 1Вычислитель-ный узел

Кластерные системы

Суперкомпьютер СКИФ МГУОбщая характеристика

Blade-шасси, СКИФ МГУ 10 модулей T-Blade, 960 GFlop/s

Скиф МГУ Площадь зала 98 кв. метров

Суперкомпьютер Roadrunner, IBM (10 июня 2008, Источник: BBC News)Пиковая производительность 1,5

Платформы НРС На формирование образа суперкомпьютеров близкого будущего повлияют несколько ключевых технологических

ВЫЧИСЛИТЕЛЬНЫЕ УЗЛЫ (СЕРВЕРА) История создания блейд - серверовЛезвия изобрел Крис Хипп

Одно из первых лезвий

Суперкомпьютер Green Destiny — кластер Beowulf (на лезвиях)

Основные требования к блейд – серверам (НР)ГибкостьСнижение энергопотребления и ресурсов охлажденияСредства

Сервер BladeCenter HS21 для кластера IBM 1350Схема сервера