Проектирование высоконагруженных систем. Лекция №1

HighLoad. Лекция №1

Быков Александр Сергеевич
Сотрудник Mail.Ru c 2004 года
Технический руководитель рекламной

HighLoad. Лекция №1

Система — множество элементов, находящихся в отношениях и связях

HighLoad. Лекция №1

Нагрузка — совершаемая полезная работа
Высоконагруженная система (1) – система

HighLoad. Лекция №1

Ярко выраженный эффект масштаба
Быстрый рост успешных проектов
Могут использоваться миллионами

HighLoad. Лекция №1

Как должна быть устроена такая система
Как должна быть устроена

HighLoad. Лекция №1

Получение теоретических знаний в области проектирования и эксплуатации высоконагруженных

HighLoad. Лекция №1

Предшествующие:
1 семестр: Web-технологии
2 семестр: Базы данных
Параллельные:
QA и Безопасность
Последующие:
4 семестр:

HighLoad. Лекция №1

Знание протокола HTTP
Навыки разработки многопоточных приложений
Навыки проектирования баз данных
Базовые

HighLoad. Лекция №1

Навык разработки распределенного ПО
Навык разработки ПО с учетом нагрузки
Навык

HighLoad. Лекция №1

Введение
Сетевая подсистема
Масштабирование нагрузки
Аппаратное обеспечение
Программное обеспечение
Архитектура проекта
Клиент-серверное взаимодействие

Программа курса:

HighLoad. Лекция №1

Разработка быстрого веб-сервера (40 баллов)
Балансировка нагрузки (20 баллов)
Проектирование интернет-проекта

HighLoad. Лекция №1

Разработка быстрого веб-сервера (15 марта)
Балансировка нагрузки (22 апреля)
Проектирование интернет-проекта

HighLoad. Лекция №1

Познакомились
Разобрались зачем нужен этот курс
Убедились в важности этого курса
Узнали

HighLoad. Лекция №1

Аудитория интернета
Особенности интернет проектов
Входные/выходные данные от бизнеса
Задачи технического отдела
Управление

HighLoad. Лекция №1

1. Аудитория интернета

HighLoad. Лекция №1

Аудитория интернета: Россия

HighLoad. Лекция №1

HighLoad. Лекция №1

HighLoad. Лекция №1

HighLoad. Лекция №1

HighLoad. Лекция №1

HighLoad. Лекция №1

HighLoad. Лекция №1

Февраль 2018 г. - Июль 2018 г., в млн.чел. и в

Россия 0+

Россия 100 000+

Россия 100 000-

HighLoad. Лекция №1

HighLoad. Лекция №1

HighLoad. Лекция №1

в среднем за день

в среднем за неделю

за месяц

Топ-20 интернет-проектов (десктоп) Август

HighLoad. Лекция №1

Facebook: Monthly active users (MAU)

HighLoad. Лекция №1

2. Особенности интернет-проектов

HighLoad. Лекция №1

Доступность сервиса из любой точки мира
Низкая стоимость доставки сервиса

HighLoad. Лекция №1

Высокая конкуренция
Низкая привязанность пользователей к сервису
Популярность сервиса может расти

HighLoad. Лекция №1

Низкая/нулевая доходность на одного пользователя
Сначала аудитория потом монетизация
ИТ-инфраструктура -

HighLoad. Лекция №1

Основа бизнеса и основная статья расходов
Высокие требования по скорости

HighLoad. Лекция №1

Выделение ключевых продуктовых метрик
Прогноз по росту проекта в продуктовых

HighLoad. Лекция №1

План по эксплуатационным затратам
План по капитальным затратам
План по найму

HighLoad. Лекция №1

HighLoad. Лекция №1

Количество зарегистрированных пользователей
Суточная/недельная/месячная аудитория
Максимальное количество пользователей онлайн
Интенсивность использования разных

HighLoad. Лекция №1

Измерение продуктовых и технических метрик
Перевод продуктовых метрик в технические
Эксплуатация

HighLoad. Лекция №1

RPS – кол-во запросов в секунду (веб-сервер)
QPS – кол-во

HighLoad. Лекция №1

Роли людей в проекте
Постановка целей управления
Разработка ПО

5. Управление вычислительными

HighLoad. Лекция №1

Product Management
Development Engineering (Разработка)
Operations Engineering (Эксплуатация)

Роли в проекте

HighLoad. Лекция №1

Роли в проекте: конфликт интересов

HighLoad. Лекция №1

Методология DevOps

HighLoad. Лекция №1

Роли в рамках различных лекций

В рамках этой лекции мы

HighLoad. Лекция №1

Получить требования от продуктовых менеджеров
Сформулировать требования в конкретных метриках (время

HighLoad. Лекция №1

Прогноз по росту проекта в продуктовых метриках
План запуска новых

HighLoad. Лекция №1

Доступность % Время простоя в год Время простоя в месяц
99%

HighLoad. Лекция №1

Какую нагрузку может выдержать сервис в текущей конфигурации ?
Какую

HighLoad. Лекция №1

Разработка ПО это только первый (небольшой) шаг
Дальнейшая эксплуатация и

HighLoad. Лекция №1

Самое распространенное приложение: веб-сервер
Самый распространенный веб-сервер: Apache
Самый быстрый веб-сервер:

HighLoad. Лекция №1

Блокирующая обработка соединений

HighLoad. Лекция №1

fork
prefork
threads
threads prefork
pooling
coroutines

Методы обработки большого кол-ва соединений

HighLoad. Лекция №1

Неблокирующая обработка соединений

Системные вызовы:
select
kqueue (FreeBSD 4.1+)
epoll (Linux 2.6+)

Прикладные библиотеки:
libevent
libev

Веб-серверы:
httpd
nginx
Tornado
Node.js
Go:

HighLoad. Лекция №1

Статистика по распространенности серверов

HighLoad. Лекция №1

Домашнее задание №1

Разработать веб-сервер отдающий статику с диска
Утилизировать все

HighLoad. Лекция №1

Список литературы

Site Reliability Engineering ISBN: 978-1-4919-2912-4
The Art of Capacity Planning ISBN:

HighLoad. Лекция №1

Список литературы

The С10K Problem http://www.kegel.com/c10k.html
Сравнительный анализ архитектур серверных интернет-приложений для