Высокопроизводительные системы

План

Типы высокопроизводительных систем
Однопроцессорные системы
SMP
Векторные процессоры
Массивно-параллельные системы
NUMA системы
Кластеры
Метакомпьютеры
Основные характеристики

Литература

http://www.intel.com
http://www.parallel.ru
Когерентность кэша http://www.update.uu.se/~gus/Misc/Compositions/cache_coherence.html

Высокопроизводительные системы

Основная цель – получение высокой скорости вычислений
Обработка больших объемов данных
Выполнение

Пути повышения производительности

Использование новых физических эффектов
Увеличение тактовой частоты
Параллельные вычисления
Использование большого

Типы высокопроизводительных систем

Однопроцессорные системы (UP)
Симметричные многопроцессорные системы (SMP)
Векторно-конвейерные системы (PVP)
NUMA системы
Вычислительные

Однопроцессорные ЭВМ

Один процессор
Общая шина
Параллелизм на уровне инструкций за счет особенностей устройства

Скалярная обработка

Один поток инструкций
Одно функциональное устройство
Все инструкции обрабатываются последовательно
Каждая инструкция работает

Кэширование оперативной памяти

Кэш – память с быстрым доступом (быстрее, чем из

Предварительная выборка

Если данные и инструкции находятся в кэше, то операции с

Пример замедления за счет не попадания в кэш

Умножение двух матриц
C=AB
Cij=AikBkj
for(i=0; i

Пример ускорения за счет кэширования

Умножение двух матриц
C=AB
Cij=AikBkj
for(i=0; i for(k=0; k

Конвейер (pipeline)

Одну сложную операцию можно разбить на несколько простых
Если сложную операцию

Пример конвейерной обработки

В платформе P5
4 стадии конвейера
IEEE сложение 6 стадий
Сравнение порядков
Нормализация
Сложение

Пример ускорения за счет конвейерной обработки loop unrolling

Цикл - разные операции
for

Суперскалярная обработка

Один поток инструкций
Несколько функциональных устройств
Одновременно считывается несколько инструкций
Независимые инструкции обрабатываются

Пример суперскалярной обработки

(a+jb)*(c+jd)=ac-bd+j(bc+ad)
Операции (10 последовательных операций)
Загрузка a в регистр
Загрузка b в

Векторная обработка

Функциональное устройство обрабатывает последовательно по одной инструкции
Инструкции могут быть векторными

Пример векторной обработки

Сложение двух массивов
a[i]+b[i]=c[i]
Последовательный вариант
c[1]=a[1]+b[1]
c[2]=a[2]+b[2]
….
c[N]=a[N]+b[N]
Порядка 4N операций
Загрузка 2N
Сложение N
Присвоение N

Векторная

Векторно-конвейерная обработка

Конвейер очень эффективен для векторных операций
c[]=a[]+b[]
Процессор всегда работает эффективно для

Современные микропроцессоры

Используются все рассмотренные подходы в комбинации
Каждый тип процессора имеет свои

Intel Pentium

Суперскаляр
2 целочисленных конвейера
1 с плавающей точкой
Конвейер
5 стадий
pre-fetch (PF), Decode stage

Intel Pentium III

Reordering – перестановка порядка выполнения
SSE – streaming SIMD extension
1-2

Intel Pentium 4

Кэш декодированных инструкций
Увеличение количества стадий конвейера да 20
SSE2

MMX, SSE, SSE2, SSE3

MMX – multimedia extension
8 64-х битных векторных регистра

Как работают SIMD расширения

Данные записываются в векторные регистры
Вызывается одна инструкция для

Hyperthreading

В суперскалярных процессорах с большим количеством стадий конвейера (Pentium 4, Xeon)

Когда Hyperthreading эффективен?

Эффективен
Более эффективная обработка прерываний
Более эффективный ввод/вывод (дисковый, сетевой)
Подкачка страниц

RISC процессоры

RISC – reduced instruction set
Уменьшение количества сложных инструкций
За счет этого

Характеристики UP процессоров

Тактовая частота
Количество операций за один такт
Обычно 1-3
Производительность –

Единицы производительности

MIPS - миллион инструкций в секунду
Характеристика для сравнения производительности разных

Пиковая производительность

Максимально теоретически возможная
Наиболее точная характеристика процессора

Пример расчета пиковой производительности

Intel Xeon
2 операции с числами с плавающей

Измеренная производительность

Измеренная производительность зависит от задачи
Процессор эффективен только для определенных последовательностей

Как использовать возможности параллельной обработки UP систем

Машинные инструкции необходимо выполнять в

Симметричные многопроцессорные системы (SMP)

Несколько полностью эквивалентных процессоров, которые работают с общей

Особенности

Преимущества
Параллелизм на уровне процедур
Многопоточные программы
Быстрая обработка прерываний
Повышение производительности ввода/вывода
Сложности
Обеспечение синхронизации при

Синхронизация при обращениях к общей памяти

При обращениях к общей данным возможны

Синхронизация

Атомарные операции
Неделимые операции – если выполняется атомарная операция с некоторыми данными,

Использование блокировок

Процессор 1
Захват блокировки, ждем если уже захвачена
Критический участок: обращение к

Проблема когерентности кэшей

Кэш каждого процессора хранит копию данных из общей памяти
Если

Обеспечение когерентности кэшей

Общий кэш
Несколько процессоров имеют общий кэш и все данные

Перестановка порядка выполнения ввода-вывода

Перестановка порядка
Современные процессы могут переставлять местами операции чтения

Барьеры

Барьер – вид блокировки, который гарантирует, что все операции, которые идут

Обеспечение совместимости за счет компилятора

Компилятору можно указывать инструкции в каких случаях

Работа с общей шиной

Данные между памятью и процессорами передаются по одной

Уменьшение эффективности SMP при увеличении количества процессоров

Больше процессоров
Больше одновременно работающий потоков
Более

Практические SMP системы

Обычно до 8 процессоров
Alpha до 64 процессоров
Наиболее эффективные 2-4

Оптимизация

Существуют компиляторы с автораспараллеливанием
OpneMP
pthread
SysV SHM, SEM

RISС процессоры

Могут отсутствовать следующие функции
Атомарные операции
Обеспечение когерентности кэша
Барьеры
Вся (или почти вся)