Технологии параллельных вычислений

План

Общие сведения
Основные схемы параллельных систем
Многопоточность
OpenMP
Обмен сообщениями
MPI
PVM
Linda

Литература

Спецификация OpenMP http://www.openmp.org/drupal/
MPI http://www-unix.mcs.anl.gov/mpi/

Особенности технологий для параллельных вычислений

Параллелизм используется для ускорения вычислений
Необходимы технологии, рассчитанные

Требования к параллельным вычислениям

Одновременная работа нескольких устройств
Устройства не должны простаивать

Модели параллельных вычислений

Общая (разделяемая) память
Многопоточность
Распределенная память
Обмен сообщениями

Топологии параллельных систем

Различные устройства связаны между собой
Структура связей между различными устройствами

Примеры топологий

звезда

Линейка (ферма)

решетка

Классы параллельных систем

SISD
SIMD
MIMD

Цель созданий программных технологий параллельных вычислений

Простая реализация
Моделей
Топологий
Классов
Декомпозиции
Связи
Синхронизации
Частично используются рассмотренные ранее

Создание параллельных программ в модели с общей памятью

API операционной системы

Создание параллельных программ с обменом сообщениями

API операционных систем
Сокеты
Стандарты
MPI
PVM
Linda

Языки программирования с поддержкой параллелизма

Поддержка автопараллелизма
Pg[C, C++, Fortran] (Portland Group)
Adaptor -

Процессы

Процесс – код выполняющийся в отдельном адресном пространстве
Множество процессов может выполняться

Составные части процесса

Память
Сегменты кода
Сегменты данных
Сегменты стека
Стек задачи
Стек ядра
Другие сегменты
Общая память
Дескриптор процесса
Информация

Память

Физическая память разбита на страницы (обычно фиксированного размера)
Страницы объединяются в виртуальные

Файловая система

Системные вызовы
open
close
read
write
Операционная система транслирует эти вызовы в специфические вызовы конкретных

Порождение процессов

Один процесс может создать другой процесс
Оба процесса будут выполняться параллельно
fork+exec
spawn

Процесс

Особенности fork+exec и spawn

fork
Порожденный процесс наследует все ресурсы родителя!
Порожденный процесс начинает

Доступ к файловой системе

В UNIX системах по возможности все реализовано

Работа с файловой системой

Открываем
файл, канал, сокет
open(), pipe(), socket()

запись write()
Чтение

Память общего доступа

Процесс создает область общей памяти
Другие процессы присоединяют эту

Конфликты при обращении к общим ресурсам: a – общая переменная

Процесс1 :

Семафоры

Семафор – совместно используемая атомарная целочисленная переменная
В каждый момент времени изменять

Синхронизация с помощью семафоров

Процесс 1
Создать семафор
Присвоить семафору 1
Уменьшить семафор на 1

Сигналы

Сигнал – аналог прерывания
Асинхронное событие – неизвестно когда произойдет
Один процесс может

Потоки

Часть процесса, которая выполняется параллельно другими частями процесса
Все ресурсы потоков -

Стандарт OpenMP

OpenMP – стандарт который включает директивы компилятора, библиотеки и системные

Пример OpenMP

int main (void){
int i;
int k = 0;
#pragma omp parallel for

Обмен сообщениями

Когда процессы работают на разных машинах, то доступ к одним

Системные API

Сокеты – независимый от протокола интерфейс, который позволяет организовать взаимодействие

Сокет

Серверный процесс
socket() – создание сокета
bind() – назначение адреса
listen() – перевод в

Диаграмма работы с сокетами

Сервер

socket()
Создаем сокет

bind()
Назначаем адрес и порт
cluster.univ.kiev.ua:22

listen()
Переводим в режим «слушать»
На

Синхронный и асинхронный обмен

Синхронный вызов –
функции send(), recv(), accept(), connect()

API для асинхронных операций ввода-вывода

select(), poll() – проверка состояния сокетов
Функция возвращает

Сравнение синхронного и асинхронного ввода-вывода

Синхронный
Простота программирования
Меньшее количество ошибок
Неэффективен для параллельных программ
Обычно

Интерфейсы параллельного программирования

Часто при написании параллельных программ приходится выполнять сложные операции

Message Passing Interface (MPI)

MPI - стандарт интерфейса (middleware) обмена сообщениями для

Диаграмма соответвия между сокетами, MPI и др

Интерфейс сокетов

Интерфейсы взаимодействия с общей памятью

Ядро

Аппаратное

Основные определения

Процесс
Программа, которая выполняет свой код
Процесс характеризуется только своим номером

Разработка и запуск MPI программ

Пользователь разрабатывает программу с MPI вызовами
Программа компилируется

Пример MPI программы

int main(int argc, char* argv[]){
int my_number; //Мой номер

Результат работы MPI программы

[saa@cluster mpi]$ mpirun -np 10 ./a.out
I an process

Реализации MPI

MPICH
LAMMPI
….
Существуют разные реализации
Может отличаться все, кроме совместимости программного кода
Некоторые реализации

Parallel Virtual Machine (PVM)

PVM – программные средства для создания параллельных вычислительных

Основные компоненты

Платформенно независимый протокол обмена и методы сериализации
Библиотека libpvm3 с которой

Основные операции

Управление процессами
Запуск pvm_spawn
Обмен сигналами pvm_kill
Выход pvm_exit
Сериализация/десериализация
Упаковка pvm_pk
Распаковка pvm_up
Отправка/прием
pvm_send
pvm_recv
Управление

Принцип создания параллельных программ

Пользователь компилирует для всех платформ одну или несколько

Пример запуска машины PVM

[saa@cluster mpi]$ pvm
pvmd already running.
pvm> conf
conf
1 host, 1

Пример PVM программы

#include
#include
#include
int main(int argc, char* argv[]){
int

Языки рассчитанные на параллельное программирование

Обычно являются расширением к какому-либо из широко