Проектирование высоко-нагруженных систем. Лекция №3

HighLoad. Лекция №3

Масштабируемость (англ. scalability) – способность системы справляться с увеличением

HighLoad. Лекция №3

Распределение нагрузки на множество серверов бесполезно без возможности распределять

HighLoad. Лекция №3

Доставить процессоров, памяти, дисков
Купить более мощный сервер
Купить еще более

HighLoad. Лекция №3

Разнести нагрузку на несколько серверов
Возможно там где нет/мало общих

HighLoad. Лекция №3

Балансировка нагрузки

HighLoad. Лекция №3

Алгоритмы балансировки

HighLoad. Лекция №3

Бекенды получают запросы по очереди в одном и том

HighLoad. Лекция №3

Бекенды получают запросы пропорционально весам согласно расписанию.
Веса: A – 50% B

HighLoad. Лекция №3

Достоинства:
Равномерный RPS на бекендах
Подходит:
Запросы одинаковой стоимости
Запросы небольшой стоимости

Weighted Round-Robin

HighLoad. Лекция №3

Формула:
N (номер сервера) = Hash(IP) % M (количество бекендов)
Возможные

HighLoad. Лекция №3

Достоинства:
Отсутствие состояния на балансировщике
Запросы одного пользователя попадают на один

HighLoad. Лекция №3

При изменении состава бекендов мигрирует минимально-возможное количество пользователей.
Пример:
http://nginx.org/en/docs/http/ngx_http_upstream_module.html#hash

Consistent

HighLoad. Лекция №3

DNS
Routing
L4 (IP)
L7 (HTTP)

Уровни балансировки

HighLoad. Лекция №3

GSLB – Global Scale Load Balancing
LSLB – Local Scale

HighLoad. Лекция №3

DNS сервер отвечает несколькими адресами
При следующем ответе сдвигает список

HighLoad. Лекция №3

Достоинства:
Простота и дешевизна
Минимальная нагрузка на DNS сервер
Отсутствие одной точки

HighLoad. Лекция №3

Недостатки:
Ограниченное кол-во серверов в UDP-ответе
Игнорирование TTL на кеширующих серверах
Долгое

HighLoad. Лекция №3

mail.ru

$ host mail.ru
mail.ru has address 94.100.191.209
mail.ru has address 94.100.191.210
mail.ru

HighLoad. Лекция №3

vk.com

$ host vk.com
vk.com has address 87.240.131.100
vk.com has address 87.240.131.101
vk.com

HighLoad. Лекция №3

www.yandex.ru

$ host www.yandex.ru
www.yandex.ru has address 87.250.250.203
www.yandex.ru has address 87.250.251.3
www.yandex.ru

HighLoad. Лекция №3

google.com

$ host google.com
google.com has address 173.194.32.227
google.com has address 173.194.32.228
google.com

HighLoad. Лекция №3

Выдает один случайный адрес в ответе
Взвешенный Round-Robin

Xixi DNS

HighLoad. Лекция №3

Сервер выдает адрес ближайшего к пользователю ДЦ
Сервер видит адрес

HighLoad. Лекция №3

Сервер выдает адрес ближайшего к пользователю ДЦ c с

HighLoad. Лекция №3

BGP Anycast

HighLoad. Лекция №3

Недостатки:
Сложность конфигурации и поддержки
Поломка соединений при перескоке трафика между

HighLoad. Лекция №3

Cisco CSS (L4)
Cisco ACE (L7)
F5 BIG-IP
Citrix NetScaler
Radware ADC

Hardware Load

HighLoad. Лекция №3

LVS (Linux Virtual Server)
Nginx
HAProxy
ATS

Software Load Balancers

HighLoad. Лекция №3

Virtual Server via NAT
Virtual Server via IP Tunneling
Virtual Server

HighLoad. Лекция №3

Layer 4: Virtual Server via NAT

HighLoad. Лекция №3

Плюсы:
Сервера могут быть в разных физических сетях
Минусы:
Большая нагрузка на

HighLoad. Лекция №3

Layer 4: Virtual Server via IP Tunneling

IP Encapsulation

HighLoad. Лекция №3

Плюсы:
Сервера могут быть в разных физических сетях
Высокая производительность
Минусы:
Дополнительная нагрузка

HighLoad. Лекция №3

Layer 3: Virtual Server via Direct Routing

Dst MAC Address

HighLoad. Лекция №3

Плюсы:
Высокая производительность
Минусы:
Сервера должны быть в одной физической сети

Layer 3:

HighLoad. Лекция №3

Программный монитор доступности нод
Сигнализирует балансеру при падении/подъемы ноды
Умеет VRRP/CARP

HighLoad. Лекция №3

Отвечает на PING
Принимает соединение на порт
Отвечает на простой HEAD

HighLoad. Лекция №3
То же самое что для для балансинга между ДЦ
Требует

HighLoad. Лекция №3

HTTP Reverse Proxy:
TCP multiplexing
Persistence / Sticky sessions / Client

HighLoad. Лекция №3

Плюсы:
Высокая гибкость конфигурации
Надежное резервирование
Равномерное распределение нагрузки
Решение проблемы медленных клиентов
Минусы:
Относительно

HighLoad. Лекция №3

(Оптимизационная задача)
Проблемы:
Небольшой timeout: обрежем долгие живые запросы
Большой timeout: затормозим

HighLoad. Лекция №3

Алгоритм выбора другого (следующего) бекенда в случае отказа текущего

HighLoad. Лекция №3

Варианты:
DNS
L4
L7 на отдельных серверах
L7 локальный на клиенте (aka sidecar

HighLoad. Лекция №3

Session cache – работает в пределах одного IP
Session tickets

HighLoad. Лекция №3

Почти также дешев как DNS
Увеличивает задержку на каждый запрос
Имеет

HighLoad. Лекция №3

Выдаем в приложении прямые ссылки на сервера
Обеспечиваем балансировку и

HighLoad. Лекция №3

Выбор сервера в коде страницы в браузере
Легко обеспечить отказоустойчивость

HighLoad. Лекция №3

Уносим форум на отдельный домен
Уносим статику на отдельный домен
И

HighLoad. Лекция №3

Домашнее задание №2

Собрать Load Balancer в облачном сервисе на