Введение в методы параллельного программирования

Содержание

Слайд 2

Содержание Понятие параллельных вычислений Необходимость параллельных вычислений Сдерживающие факторы Характеристика необходимых знаний и умений Литература

Содержание

Понятие параллельных вычислений
Необходимость параллельных вычислений
Сдерживающие факторы
Характеристика необходимых знаний и

умений
Литература
Слайд 3

Понятие параллельных вычислений… Под параллельными вычислениями (parallel or concurrent computations) можно

Понятие параллельных вычислений…

Под параллельными вычислениями (parallel or concurrent computations) можно понимать

процессы решения задач, в которых в один и тот же момент времени могут выполняться одновременно несколько вычислительных операций
Слайд 4

Параллельные вычисления не сводятся к использованию только многопроцессорных вычислительных систем Одновременные

Параллельные вычисления не сводятся к использованию только многопроцессорных вычислительных систем
Одновременные

выполняемые операции должны быть направлены на решение общей задачи
Параллельные вычисления следует отличать от многозадачных (многопрограммных) режимов работы последовательных ЭВМ

Понятие параллельных вычислений

Слайд 5

Необходимость параллельных вычислений… Опережение потребности вычислений быстродействия существующих компьютерных систем (ex.,

Необходимость параллельных вычислений…

Опережение потребности вычислений быстродействия существующих компьютерных систем (ex., Problems

of Grand Challenge)
моделирование климата,
генная инженерия,
проектирование интегральных схем,
анализ загрязнения окружающей среды,
создание лекарственных препаратов и др.
Оценка необходимой производительности – 1012 операций (1 Tflops)
Слайд 6

Теоретическая ограниченность роста производительности последовательных компьютеров Резкое снижение стоимости многопроцессорных (параллельных)

Теоретическая ограниченность роста производительности последовательных компьютеров
Резкое снижение стоимости многопроцессорных (параллельных) вычислительных

систем
1 Cray T90 processor – 1.8 GFlops ($2 500 000),
8 Node IBM SP2 using R6000 - 2.1 GFlops ($500 000)
Смена парадигмы построения высокопроизводительных процессоров - многоядерность

Необходимость параллельных вычислений

Слайд 7

Сдерживающие факторы… высокая стоимость параллельных систем – в соответствии с законом

Сдерживающие факторы…

высокая стоимость параллельных систем – в соответствии с законом Гроша

(Grosch), производительность компьютера возрастает пропорционально квадрату его стоимости ?!
Слайд 8

потери производительности для организации параллелизма – согласно гипотезе Минского (Minsky), ускорение,

потери производительности для организации параллелизма – согласно гипотезе Минского (Minsky), ускорение,

достигаемое при использовании параллельной системы, пропорционально двоичному логарифму от числа процессоров ?!

Сдерживающие факторы…

Слайд 9

постоянное совершенствование последовательных компьютеров – в соответствии с законом Мура (Moore)

постоянное совершенствование последовательных компьютеров – в соответствии с законом Мура (Moore)

мощность последовательных процессоров возрастает практически в два раза каждые 18 месяцев

Сдерживающие факторы…

Слайд 10

зависимость эффективности параллелизма от учета характерных свойств параллельных систем (отсутствие мобильности

зависимость эффективности параллелизма от учета характерных свойств параллельных систем (отсутствие мобильности

для параллельных программ)
существующее программное обеспечение ориентировано в основном на последовательные ЭВМ

Сдерживающие факторы…

Слайд 11

Характеристика необходимых знаний и умений Архитектура параллельных вычислительных систем Модели вычислений

Характеристика необходимых знаний и умений

Архитектура параллельных вычислительных систем
Модели вычислений и методы

анализа сложности
Параллельные методы вычислений
Параллельное программирование (языки, среды разработки, библиотеки)
Необходим интегрированный курс по параллельному программированию
Слайд 12

Параллельные вычислительные системы Рис. 1.1. Структура однопроцессорной ЭВМ.

Параллельные вычислительные системы

Рис. 1.1. Структура однопроцессорной ЭВМ.

Слайд 13

Параллельная обработка может проводиться различными способами: простая параллельная обработка; конвейерная. Параллельная обработка данных на ЭВМ

Параллельная обработка может проводиться различными способами:
простая параллельная обработка;
конвейерная.

Параллельная обработка данных

на ЭВМ
Слайд 14

Если одно устройство выполняет 1-ну одинуцю информации за 1-это времени, то

Если одно устройство выполняет 1-ну одинуцю информации за 1-это времени, то

1-на тысяча - за 1000.
Если есть 5 таких устройств, то 1000 операций они выполняют за 200 единиц.
К преимуществам такой системы следует отнести очевидно ускорения расчетов, а недостаток - удорожание стоимости, нерациональное использование процессоров.

Простая параллельная обработка

Слайд 15

Идея конвейерной обработки заключается в том, что каждая часть устройства процессора

Идея конвейерной обработки заключается в том, что каждая часть устройства процессора

выполнив свою часть работы передает результат следующем одновременно принимая следующую порцию данных.

Конвейерная обработка

Слайд 16

Краткая история параллелизма в архитектуре ЭВМ Рис. 1.2. Структура матричного процессора

Краткая история параллелизма в архитектуре ЭВМ

Рис. 1.2. Структура матричного процессора

Слайд 17

Краткая история параллелизма в архитектуре ЭВМ Рис. 1.3. Структура процессора с общей памятью

Краткая история параллелизма в архитектуре ЭВМ

Рис. 1.3. Структура процессора с общей

памятью
Слайд 18

Для повышения производительности компьютеров можно пойти двумя путями: Развитие элементной базы.

Для повышения производительности компьютеров можно пойти двумя путями:
Развитие элементной базы.
Использование новых

решений в разработке алгоритмов и архитектуры компьютеров.

Пути увеличения производительности компьютеров

Слайд 19

При выполнении параллельных вычислений существуют 2 основных подхода: Каждый отдельный процессор

При выполнении параллельных вычислений существуют 2 основных подхода:
Каждый отдельный процессор или

устройство выполняет только 1 элементарную операцию, такой процессор является специализированным
Каждый процессор выполняет всю операцию целиком, такой процессор является универсальным, то есть может выполнять целый набор операций каждая из которых состоит из элементарных операций.

Пути увеличения производительности компьютеров

Слайд 20

Литература… Гергель В.П. Теория и практика параллельных вычислений. - М.: Интернет-Университет,

Литература…

Гергель В.П. Теория и практика параллельных вычислений. - М.: Интернет-Университет,

БИНОМ. Лаборатория знаний, 2007.
Богачев К.Ю. Основы параллельного программирования. - М.: БИНОМ. Лаборатория знаний, 2003.
Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002.
Немнюгин С., Стесик О. Параллельное программирование для многопроцессорных вычислительных систем — СПб.: БХВ-Петербург, 2002.
Слайд 21

Заключение За время существование вычислительной техники Скорость срабатывания элементов возросла в

Заключение

За время существование вычислительной техники
Скорость срабатывания элементов возросла в 106 раз
Быстродействие

вычислений увеличилось в 109 раз
Развитие вычислительной техники – это история совершенствования архитектуры и практического использования параллелизма
Слайд 22

Вопросы для обсуждения Параллельные вычисления необходимы только для задач с высокой

Вопросы для обсуждения

Параллельные вычисления необходимы только для задач с высокой вычислительной

трудоемкостью ?
Какие можно привести примеры вычислительно-трудоемких задач ?