Презентация "Параллельное программирование с OpenMP" - скачать презентации по Информатике

Результат зависит от порядка выполнения команд. Требуется взаимное исключение критических интервалов.

При взаимодействии через общую память нити должны синхронизовать свое выполнение.
#pragma omp parallel
{
sum = sum + val;
}

Конфликт доступа к данным

Москва, 2012 г.

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

Конфликт доступа к данным

Москва, 2012 г.

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

#define N
float a[N], tmp;
#pragma omp parallel
{
#pragma omp for
for(int i=0; i tmp= a[i]*a[i];
a[i]=1-tmp;
}
}

#define N
float a[N], tmp;
#pragma omp parallel
{
#pragma omp for
for(int i=0; i tmp= a[i]*a[i];
a[i]=1-tmp;
}
}

#define N
float a[N], tmp;
#pragma omp parallel
{
#pragma omp for private(tmp)
for(int i=0; i tmp= a[i]*a[i];
a[i]=1-tmp;
}
}

file1.c
int counter = 0;
#pragma omp threadprivate(counter)
int increment_counter()
{
counter++;
return(counter);
}

file2.c
extern int counter;
int decrement_counter()
{
counter--;
return(counter);
}

END PARALLEL

PARALLEL

END PARALLEL

PARALLEL

Var = 1

Var = 2

… = Var

… = Var

Если количество нитей не изменилось, то каждая нить получит значение, посчитанное в предыдущей параллельной области.

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

Москва, 2012 г.

file1.c
int counter = 0;
#pragma omp threadprivate(counter)
int increment_counter()
{
counter++;
return(counter);
}

file2.c
extern int counter;
#pragma omp threadprivate(counter)
int decrement_counter()
{
counter--;
return(counter);
}

#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
float A[N], maxval;
#pragma omp parallel
{
#pragma omp master
maxval = 0.0;
#pragma omp for
for(int i=0; i maxval = Max(A[i],maxval);
}
}

#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
float A[N], maxval;
#pragma omp parallel
{
#pragma omp master
maxval = 0.0;
#pragma omp for
for(int i=0; i maxval = Max(A[i],maxval);
}
}

#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
float A[N], maxval;
#pragma omp parallel
{
#pragma omp master
maxval = 0.0;
#pragma omp for
for(int i=0; i #pragma omp critical
maxval = Max(A[i],maxval);
}
}

#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
float A[N], maxval;
#pragma omp parallel
{
#pragma omp master
maxval = 0.0;
#pragma omp for
for(int i=0; i maxval = Max(A[i],maxval);
}
}

#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
float A[N], maxval;
#pragma omp parallel
{
#pragma omp master
maxval = 0.0;
#pragma omp barrier
#pragma omp for
for(int i=0; i #pragma omp critical
maxval = Max(A[i],maxval);
}
}

void example(int n, int m, float *a, float *b, float *с, float *z)
{
int i;
float sum = 0.0;
#pragma omp parallel
{
#pragma omp for schedule(runtime) nowait
for (i=0; i c[i] = (a[i] + b[i]) / 2.0;
}
#pragma omp for schedule(runtime) nowait
for (i=0; i z[i] = sqrt(c[i]);
}
}

void example(int n, int m, float *a, float *b, float *с, float *z)
{
int i;
float sum = 0.0;
#pragma omp parallel
{
#pragma omp for schedule(runtime)
for (i=0; i c[i] = (a[i] + b[i]) / 2.0;
}
#pragma omp for schedule(runtime) nowait
for (i=0; i z[i] = sqrt(c[i]);
}
}

void example(int n, float *a, float *b, float *с, float *z)
{
int i;
float sum = 0.0;
#pragma omp parallel
{
#pragma omp for nowait reduction (+: sum)
for (i=0; i c[i] = (a[i] + b[i]) / 2.0;
sum += c[i];
}
#pragma omp for nowait
for (i=0; i z[i] = sqrt(b[i]);
#pragma omp master
printf (“Sum of array C=%g\n”,sum);
}
}

void example(int n, float *a, float *b, float *с, float *z)
{
int i;
float sum = 0.0;
#pragma omp parallel
{
#pragma omp for schedule(static) nowait reduction (+: sum)
for (i=0; i c[i] = (a[i] + b[i]) / 2.0;
sum += c[i];
}
#pragma omp for schedule(static) nowait
for (i=0; i z[i] = sqrt(b[i]);
#pragma omp barrier
#pragma omp master
printf (“Sum of array C=%g\n”,sum);
}
}

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

Москва, 2012 г.

Москва, 2012 г.

Private-переменные

Threadprivate-переменные

001

Нить

Кэш общих переменных

Private-переменные

Threadprivate-переменные

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

Москва, 2012 г.

i = i + 1;

i = 0

i = 1

… = i + 2; // ?

#pragma omp flush (i)

#pragma omp flush (i)

i = 1

i = 1

Модель памяти в OpenMP

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

Москва, 2012 г.

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

Москва, 2012 г.

Москва, 2012 г.

#define ITMAX 20
#define Max(a,b) ((a)>(b)?(a):(b))
double MAXEPS = 0.5;
double grid[L][L], tmp[L][L],eps;
#pragma omp parallel
{
for (int it=0;it #pragma omp single
eps= 0.;
#pragma omp for
for (int i=1; i for (int j=1; j #pragma omp critical
eps = Max(fabs(tmp[i][j]-grid[i][j]),eps);
grid[i][j] = tmp[i][j];
}
#pragma omp for
for (int i=1; i for (int j=1; j tmp[i][j] = 0.25 * ( grid[i-1][j] + grid[i+1][j] + grid[i][j-1] + grid[i][j+1]);
if (eps < MAXEPS) break;
}
}

#define Max(a,b) ((a)>(b)?(a):(b))
double MAXEPS = 0.5;
double grid[L][L], tmp[L][L],eps;
#pragma omp parallel
{
for (int it=0;it #pragma omp barrier
#pragma omp single
eps= 0.;
#pragma omp for
for (int i=1; i for (int j=1; j #pragma omp critical
eps = Max(fabs(tmp[i][j]-grid[i][j]),eps);
grid[i][j] = tmp[i][j];
}
#pragma omp for
for (int i=1; i for (int j=1; j tmp[i][j] = 0.25 * ( grid[i-1][j] + grid[i+1][j] + grid[i][j-1] + grid[i][j+1]);
if (eps < MAXEPS) break;
}
}

#define N 10
int A[N],B[N], sum;
#pragma omp parallel num_threads(10)
{
int iam=omp_get_thread_num();
if (iam ==0) {
#pragma omp critical (update_a)
#pragma omp critical (update_b)
sum +=A[iam];
} else {
#pragma omp critical (update_b)
#pragma omp critical (update_a)
sum +=B[iam];
}
}

#include
#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
int main ()
{
omp_lock_t lck;
float A[N], maxval;
#pragma omp parallel
{
#pragma omp master
maxval = 0.0;
#pragma omp barrier
#pragma omp for
for(int i=0; i omp_set_lock(&lck);
maxval = Max(A[i],maxval);
omp_unset_lock(&lck);
}
}
return 0;
}

#include
#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
int main ()
{
omp_lock_t lck;
float A[N], maxval;
omp_init_lock(&lck);
#pragma omp parallel
{
#pragma omp master
maxval = 0.0;
#pragma omp barrier
#pragma omp for
for(int i=0; i omp_set_lock(&lck);
maxval = Max(A[i],maxval);
omp_unset_lock(&lck);
}
}
omp_destroy_lock(&lck);
return 0;
}

#pragma omp parallel
{
int iam=omp_get_thread_num();
if (iam ==0) {
omp_set_lock (&lcka);
omp_set_lock (&lckb);
x = x + 1;
omp_unset_lock (&lckb);
omp_unset_lock (&lcka);
} else {
omp_set_lock (&lckb);
omp_set_lock (&lcka);
x = x + 2;
omp_unset_lock (&lcka);
omp_unset_lock (&lckb);
}
}

#pragma omp parallel
{
int iam=omp_get_thread_num();
if (iam ==0) {
omp_set_lock (&lcka);
while (x<0); /*цикл ожидания*/
omp_unset_lock (&lcka);
} else {
omp_set_lock (&lcka);
x++;
omp_unset_lock (&lcka);
}
}
}

#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
float A[N], maxval, localmaxval;
maxval = localmaxval = 0.0;
#pragma omp parallel private (localmaxval)
{
#pragma omp for
for(int i=0; i localmaxval = Max(A[i],localmaxval);
}
#pragma omp critical
maxval = Max(localmaxval,maxval);
}

#define N 100
#define Max(a,b) ((a)>(b)?(a):(b))
float A[N], maxval, localmaxval;
maxval = localmaxval = 0.0;
#pragma omp parallel firstprivate (localmaxval)
{
#pragma omp for
for(int i=0; i localmaxval = Max(A[i],localmaxval);
}
#pragma omp critical
maxval = Max(localmaxval,maxval);
}

static int counter;
#pragma omp threadprivate(counter)
int main () {
counter = 0;
#pragma omp parallel
{
counter++;
}
}

static int counter;
#pragma omp threadprivate(counter)
int main () {
counter = 0;
#pragma omp parallel copyin (counter)
{
counter++;
}
}

KAI Assure for Threads (Kuck and Associates)
Анализ программы основан на процедуре инструментации.
Инструментация – вставка обращений для записи действий, потенциально способных привести к ошибкам: работа с памятью, вызовы операций синхронизации и работа с потоками.
Может выполняться:
автоматически (бинарная инструментация) на уровне исполняемого модуля (а также dll-библиотеки)
и/или по указанию программиста на уровне исходного кода (компиляторная инструментация Windows).

Для каждой использованной в программе переменной сохраняется:
адрес переменной;
тип использования (read или write);
наличие/отсутствие операции синхронизации;
номер строки и имя файла;
call stack.
Инструментация программы + большой объем сохраняемой информации для каждого обращения = существенные накладные расходы и замедление выполнения программы.

Москва, 2012 г.

Технология параллельного программирования OpenMP : Функциональная отладка OpenMP-программ

http://iacoma.cs.uiuc.edu/iacoma-papers/asid06.pdf

Инструментация программы:
cc -xinstrument=datarace -g -xopenmp=noopt test.c
Накопление информации о программе:
еxport OMP_NUM_THREADS=2
collect -r race ./a.out
collect -r deadlock ./a.out
collect -r all ./a.out
Получение результатов анализа программы
tha test.1.er => GUI
er_print test.1.er => интерфейс командной строки

if (iam==0) {
user_lock ();
data = …
…
} else {
user_lock ();
… = data;
…
}

if (iam==0) {
ptr1 = mymalloc(sizeof(data_t));
ptr1->data = ...
...
myfree(ptr1);
} else {
ptr2 = mymalloc(sizeof(data_t));
ptr2->data = ...
...
myfree(ptr2);
}

Может выдавать сообщения об ошибках там где их нет

http://www.fz-juelich.de/nic-series/volume38/terboven.pdf