Mysql для высоконагруженных систем Метелкин Михаил Геннадьевич, Ведущий Web-разработчик mihail.metelkin@softline.ru

Август 29, 2022

Главная
Технология
Mysql для высоконагруженных систем Метелкин Михаил Геннадьевич, Ведущий Web-разработчик mihail.metelkin@softline.ru

Содержание

2. Архитектура Mysql
3. Архитектура Mysql
4. Mysql Engines (характеристики) MyISAM Блокировка всей таблицы Автоматическая проверка и востановление таблиц Поддерживает FULL-text индексы Отложенная
5. Mysql Engines (характеристики) InnoDB Поддержка транзакций Использование механизма MVCC Поддержка внешних ключей
6. Mysql Engines (характеристики) Memory Engine(HEAP) Хранение данных в памяти Поддержка Hash индексов Поддержка только строк фиксированной
7. Mysql Engines (характеристики) Archive Engine Подержка только SELECT и INSERT запросов Не поддерживает индексов Поддержка блокировки
8. Нахождение "узких мест“ производительности системы Определение производительности Транзакций в единицу времени Время отклика Расширяемость Конкурентность Профилирование
9. Нахождение "узких мест“ производительности системы “Инструменты” для определения производительности аb (http://httpd.apache.org/docs/2.0/programs/ab.html) http_load (http://www.acme.com/software/http_load/) JMeter (http://jakarta.apache.org/jmeter/) mysqlslap
10. Нахождение "узких мест“ производительности системы Профилирование Логирование запросов (general log, slow log ). Конфигурационные настройки :
11. Нахождение "узких мест“ производительности системы “Инструменты”для задач профилирования mysql_slow_log_parser (http://www.mysqlperformanceblog.com/files/utils/mysql_slow_log_parser ) mysqlsla (http://hackmysql.com/mysqlsla) SHOW STATUS mysql>
12. Нахождение "узких мест“ производительности системы “Инструменты”для задач профилирования SHOW PROFILE mysql> SET profiling = 1;
13. Оптимизация схемы и расстановка индексов Выбор оптимальных типов данных Наименьший из приемлимых типов данных Наиболее простой
14. Оптимизация запросов Выбирайте только необходимое количество строк Всегда прописывайте те поля которые необходимы дл выборки Особенно
15. Оптимизация запросов Декомпозиция JOIN’ ов Хранение результатов больших выборок в приложении Проверка использования индексов при запросе
16. Репликация Репликация – синхронное/асинхронное копирование данных с ведущих серверов на ведомые. Решаемые задачи: Распределение данных (географически).
17. Партицирование Партицирование – разбиение данных таблиц на логические части по выбранным критериям Методы: RANGE (По диапазону
18. Шардинг Шардинг – разделение данных на уровне ресурсов Способы: Вертикальный (Разделение таблиц по серверам) Горизонтальный (Разделение
20. Скачать презентацию

Слайд 2

Архитектура Mysql

Слайд 3

Архитектура Mysql

Слайд 4

Mysql Engines (характеристики)
MyISAM
Блокировка всей таблицы
Автоматическая проверка и востановление таблиц
Поддерживает FULL-text

индексы
Отложенная запись данных индексов
Компрессия MyISAM таблиц

Слайд 5

Mysql Engines (характеристики)
InnoDB
Поддержка транзакций
Использование механизма MVCC
Поддержка внешних ключей

Слайд 6

Mysql Engines (характеристики)
Memory Engine(HEAP)
Хранение данных в памяти
Поддержка Hash индексов
Поддержка только

строк фиксированной длины (CHAR)

Слайд 7

Mysql Engines (характеристики)
Archive Engine
Подержка только SELECT и INSERT запросов
Не поддерживает

индексов
Поддержка блокировки на уровне строки

Слайд 8

Нахождение "узких мест“ производительности системы
Определение производительности
Транзакций в единицу времени
Время отклика
Расширяемость
Конкурентность
Профилирование
Полное время

выполнения задачи
Время выполнения каждого запроса
Время открытия каждого соединения к mysql
Время вызова каждого внешнего ресурса (веб-сервисов и т.д.)
Вызов потенциально затратных функций
Системное время CPU

Слайд 9

Нахождение "узких мест“ производительности системы
“Инструменты” для определения производительности
аb (http://httpd.apache.org/docs/2.0/programs/ab.html)
http_load (http://www.acme.com/software/http_load/)
JMeter (http://jakarta.apache.org/jmeter/)
mysqlslap

(http://dev.mysql.com/doc/refman/5.1/en/mysqlslap.html)
Sysbench (http://sysbench.sourceforge.net/)
Database Test Suite (http://sourceforge.net/projects/osdldbt/)
MySQL Benchmark Suite (http://dev.mysql.com/doc/en/mysql-benchmarks.html/ )
Super Smack (http://vegan.net/tony/supersmack/)

Слайд 10

Нахождение "узких мест“ производительности системы
Профилирование
Логирование запросов (general log, slow log ).

Конфигурационные настройки :
log =
log-slow-queries =
long_query_time = 2
log-queries-not-using-indexes
log-slow-admin-statements
Приложения:
mysqldumpslow
mysql_slow_log_filter (http://www.mysqlperformanceblog.com/files/utils/mysql_slow_log_filter )

Слайд 11

Нахождение "узких мест“ производительности системы
“Инструменты”для задач профилирования
mysql_slow_log_parser
(http://www.mysqlperformanceblog.com/files/utils/mysql_slow_log_parser ) mysqlsla (http://hackmysql.com/mysqlsla)
SHOW STATUS
mysql> FLUSH

STATUS;
mysql> SHOW SESSION STATUS LIKE 'Select%';

Слайд 12

Нахождение "узких мест“ производительности системы
“Инструменты”для задач профилирования
SHOW PROFILE
mysql> SET profiling =

Слайд 13

Оптимизация схемы и расстановка индексов
Выбор оптимальных типов данных
Наименьший из приемлимых типов

данных
Наиболее простой из возможных
Избегайте Null по умолчанию
Расстановка индексов
Изоляция колонок в запросах
Наименьшая возможная длина индексов
Только необходимые индексы

Слайд 14

Оптимизация запросов
Выбирайте только необходимое количество строк
Всегда прописывайте те поля которые необходимы

дл выборки
Особенно в запросах использующих JOIN
Правило “идеального запроса”- количество проверенных сервером строк ≈ количеству возвращенных строк
Полное сканирование таблиц – высшее зло!
Разбивайте очень сложные запросы на несколько составных
Производите операции с большими объемами данных частями

Слайд 15

Оптимизация запросов
Декомпозиция JOIN’ ов
Хранение результатов больших выборок в приложении
Проверка использования индексов

при запросе
Использование Explain

Слайд 16

Репликация
Репликация – синхронное/асинхронное копирование данных с ведущих серверов на ведомые.
Решаемые задачи:
Распределение

данных (географически).
Распределение нагрузки (Load balancing).
Backups
Отказоустойчивость
Тестирование апдейтов и новых версий Mysql.

Слайд 17

Партицирование
Партицирование – разбиение данных таблиц на логические части по выбранным критериям
Методы:
RANGE

(По диапазону значений)
LIST (По точному списку значений)
HASH
KEY

Слайд 18

Шардинг
Шардинг – разделение данных на уровне ресурсов
Способы:
Вертикальный (Разделение таблиц по серверам)
Горизонтальный

(Разделение логических частей данных по серверам)

Mysql для высоконагруженных систем Метелкин Михаил Геннадьевич, Ведущий Web-разработчик mihail.metelkin@softline.ru

Содержание

Архитектура Mysql

Архитектура Mysql

Mysql Engines (характеристики) MyISAMБлокировка всей таблицыАвтоматическая проверка и востановление таблицПоддерживает FULL-text

Mysql Engines (характеристики) InnoDBПоддержка транзакцийИспользование механизма MVCC Поддержка внешних ключей

Mysql Engines (характеристики) Memory Engine(HEAP)Хранение данных в памятиПоддержка Hash индексовПоддержка только

Mysql Engines (характеристики) Archive EngineПодержка только SELECT и INSERT запросовНе поддерживает

Нахождение "узких мест“ производительности системыПрофилированиеЛогирование запросов (general log, slow log ).

Нахождение "узких мест“ производительности системы“Инструменты”для задач профилированияSHOW PROFILEmysql> SET profiling =

Оптимизация схемы и расстановка индексовВыбор оптимальных типов данныхНаименьший из приемлимых типов

Оптимизация запросовВыбирайте только необходимое количество строкВсегда прописывайте те поля которые необходимы

Оптимизация запросовДекомпозиция JOIN’ овХранение результатов больших выборок в приложенииПроверка использования индексов

РепликацияРепликация – синхронное/асинхронное копирование данных с ведущих серверов на ведомые.Решаемые задачи:Распределение

ПартицированиеПартицирование – разбиение данных таблиц на логические части по выбранным критериямМетоды:RANGE

ШардингШардинг – разделение данных на уровне ресурсовСпособы:Вертикальный (Разделение таблиц по серверам)Горизонтальный

Похожие презентации

Mysql Engines (характеристики)
MyISAM
Блокировка всей таблицы
Автоматическая проверка и востановление таблиц
Поддерживает FULL-text

Mysql Engines (характеристики)
InnoDB
Поддержка транзакций
Использование механизма MVCC
Поддержка внешних ключей

Mysql Engines (характеристики)
Memory Engine(HEAP)
Хранение данных в памяти
Поддержка Hash индексов
Поддержка только

Mysql Engines (характеристики)
Archive Engine
Подержка только SELECT и INSERT запросов
Не поддерживает

Нахождение "узких мест“ производительности системы
Профилирование
Логирование запросов (general log, slow log ).

Нахождение "узких мест“ производительности системы
“Инструменты”для задач профилирования
SHOW PROFILE
mysql> SET profiling =

Оптимизация схемы и расстановка индексов
Выбор оптимальных типов данных
Наименьший из приемлимых типов

Оптимизация запросов
Выбирайте только необходимое количество строк
Всегда прописывайте те поля которые необходимы

Оптимизация запросов
Декомпозиция JOIN’ ов
Хранение результатов больших выборок в приложении
Проверка использования индексов

Репликация
Репликация – синхронное/асинхронное копирование данных с ведущих серверов на ведомые.
Решаемые задачи:
Распределение

Партицирование
Партицирование – разбиение данных таблиц на логические части по выбранным критериям
Методы:
RANGE

Шардинг
Шардинг – разделение данных на уровне ресурсов
Способы:
Вертикальный (Разделение таблиц по серверам)
Горизонтальный