Основные свойства MPI - Message Passing Interface, интерфейс передачи сообщений Стандарт MPI 4.0. Лекция 4

Основные свойства

MPI - Message Passing Interface, интерфейс передачи сообщений
Стандарт MPI 4.0
Языки

Основные свойства

Наличие групп процессов (безопасность сообщений), топологий процессов
Структурирование передаваемого сообщения, типизация,

Чего нет в MPI

Функции управления процессами
Работа с удаленной памятью
Разделяемая общая память
Потоки

Основные понятия

MPI-программа – программа запускаемая одновременно на нескольких процессорах
Каждая копия

Основные понятия

Код программы параметризуется номером процесса.
С помощью служебных функций MPI

Основные понятия

Рис. 3. Коммуникаторы и группы в MPI

Основные понятия

Коммуникационные функции MPI предоставляют процессам MPI-программы различные способы взаимодействия: индивидуальные,

Коммуникации точка-точка

Блокируемые / неблокируемые
Синхронные / асинхронные
Буферизованные
Пересылка по готовности

Рис. 5. Схема передачи

Основные соглашения

Регистр символов существенен в С, и не играет роли в

Соответствие между MPI-типами и типами языка Cи

Первая программа

#include
#include "mpi.h"
int main( argc, argv )
int argc; char **argv;
{

Основные функции

int MPI_Init(int *argc, char ***argv)
int MPI_Finalize(void)
int MPI_Comm_size(MPI_Comm comm, int

Компиляция и запуск

% mpicc -o helloworld helloworld.c
% mpirun -np 4 helloworld
Hello

int MPI_Send(void* buf, int count, MPI_Datatype datatype, int dest, int tag,

Функция MPI_Test

MPI_Test(*request,*flag,*status)
MPI_Testany (count,*array_of_requests, *index,*flag,*status)
MPI_Testall (count,*array_of_requests, *flag,*array_of_statuses)
MPI_Testsome (incount,*array_of_requests, *outcount,*array_of_offsets, *array_of_statuses)

Функция MPI_Wait

MPI_Wait (*request,*status)
MPI_Waitany (count,*array_of_requests,*index, *status)
MPI_Waitall (count,*array_of_requests, *array_of_statuses)
MPI_Waitsome (incount,*array_of_requests, *outcount, *array_of_offsets, *array_of_statuses)

Редукция с последующей общей рассылкой

Варианты: 1 2 3
Количество
процессов = 8

Последовательный вариант редукции

Рис. 6. Схема редукции

Вариант редукции: пирамида

Рис. 7. Схема редукции

Вариант редукции: бабочка

Рис. 8. Схема редукции

Виды операций пересылки сообщений «точка-точка»

Функция MPI_Ssend

MPI_Ssend(*buf,
count,datatype,
dest,tag,comm)
MPI_SSEND(buf,
count,datatype,
dest,tag,comm,
ierr)

Рис. 9. Схема передачи сообщений
“точка-точка” в MPI

Функция MPI_Bsend

MPI_Bsend(*buf,
count,datatype, dest,tag,comm)
MPI_Buffer_attach (*buffer,size)
MPI_Buffer_detach (*buffer,size)

Рис. 11. Схема передачи сообщений
“точка-точка” в MPI

Функция MPI_Rsend

MPI_Rsend(*buf,count,datatype, dest,tag,comm)
MPI_Probe (source,tag,
comm,*status)

Рис. 12. Схема передачи сообщений
“точка-точка” в MPI

Процесс А

Приложение

Data

Системный

Функция MPI_Sendrecv

MPI_Sendrecv(*sendbuf,sendcount,sendtype, dest,sendtag, *recvbuf,recvcount,recvtype, source,recvtag,comm,*status)

Коллективные операции

Необходимы для общего взаимодействия и синхронизации процессов.
Функция общей синхронизации:
int MPI_Barrier(MPI_Comm

Широковещательная рассылка данных

int MPI_Bcast(void* buffer, int count, MPI_Datatype datatype, int

int MPI_Gather(void* sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int recvcount,

int MPI_Allgather(void* sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int recvcount,

int MPI_Gatherv(void* sendbuf, int sendcount, MPI_Datatype sendtype, void* rbuf, int *recvcounts,

int MPI_Scatter(void* sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int recvcount,

int MPI_Scatterv(void* sendbuf, int *sendcounts, int *displs, MPI_Datatype sendtype, void* recvbuf,

int MPI_Alltoall(void* sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int recvcount,

int MPI_Reduce(void* sendbuf, void* recvbuf, int count, MPI_Datatype datatype, MPI_Op op,

Глобальные вычислительные операции над распределенными данными

int MPI_Allreduce(void* sendbuf, void* recvbuf, int count, MPI_Datatype datatype, MPI_Op op,

int MPI_Reduce_scatter(void* sendbuf, void* recvbuf, int *recvcounts, MPI_Datatype datatype, MPI_Op op,