Как, используя Lucene, построить высоконагруженную систему поиска разнородных данных

Август 29, 2022

Главная
Технология
Как, используя Lucene, построить высоконагруженную систему поиска разнородных данных

Содержание

2. Одноклассники в цифрах Что у нас есть: 100 млн пользователей; 3.3 млн групп; ..... 4.1 млн
3. Зачем нам понадобились свои поисковые системы? Пользователь не всегда знает, как именно регистрировался искомый друг На
4. Почему Lucene? Поиск по MS SQL базе был крайне медленным На Java написано 99% нашего кода,
5. Как устроен Lucene? The bright blue butterfly hangs on the breeze It’s best to forget the
6. Требования к системе индексов Отказоустойчивость и масштабируемость Высокая производительность поисковых серверов Гибкое индексирование Возможность сбора дополнительной
7. Что нас не устроило в Solr Solr: сервер использует только один процессор репликация индексов на bash-скриптах
8. Архитектура Presentation Search processing system Event Indexer + DB Query Result Result Read Read Update/Notify Index
9. Требования к поисковой системе Отказоустойчивость Использование социального графа Эффективность Простое изменение и расширение функциональности Сбор статистики
10. Как работает поисковая система Get session for Schema Execute queries Reduce results Schedule queries Load results
11. Проблемы: работа с индексом Lucene активно читает файлы во время поиска Пробовали: Диск с FSDirectory и
12. Проблемы: ThreadLocal кэши Долгий GC из-за уймы мелких объектов в хипе Причины: Lucene использует ThreadLocal кэши
13. Проблемы: медленные хранимые поля Медленная работа с хранимыми полями Причина: При считывании хранимого поля создается много
14. Распознавание полей Поиск пользователей идет по следующим полям: имя и фамилия, город, страна, интервал возростов Друга
15. Поиск по возрасту Стандартные решения: Добавление всех подходящих терминов Префиксные термины для снижения количества терминов в
16. Поиск музыки В базе есть: артисты; альбомы; композиции не сортированые музыкальные композиции Три точности совпадения: точное;
17. Индексация музыки Все храним в одном индексе У каждого документа: в id зашит его тип (артист;
18. Поиск музыки Пробовали: Отдельный запросы для каждого типа Повторные запросы с меньшей точностью Настройка оценщика веса
19. Поисковые сервера 8 серверов 7 000 МБ 20 мс 1100 з/c 2 сервера 600 МБ 3
21. Скачать презентацию

Слайд 2

Одноклассники в цифрах
Что у нас есть:
100 млн пользователей;
3.3 млн групп;
.....
4.1 млн

пользователей онлайн;
В секунду:
250. тыс. страниц, 50мс, 70Гбит/с;
6 тыс. сообщений и комментариев;
1.5 тыс. поисковых запросов.

Слайд 3

Зачем нам понадобились свои поисковые системы?
Пользователь не всегда знает, как именно

регистрировался искомый друг
На сайте были огромные каталоги групп и сообществ
Планировались новые сервисы, которым понадобится поиск
Как правило, человек ищет то, что уже есть у кого-то из его друзей

Слайд 4

Почему Lucene?
Поиск по MS SQL базе был крайне медленным
На Java написано

99% нашего кода, поэтому Sphinx даже не смотрели
Apachе Lucene/Solr поддерживаются большим сообществом и хорошо себя зарекомендовали
Уже был опыт использования Solr
Быстрый поиск других поисковых Java-проектов результатов не дал

Слайд 5

Как устроен Lucene?
The bright blue butterfly hangs on the breeze
It’s

best to forget the great sky and to retire from every wind

Under blue sky, in bright sunlight, one need not search around

Tokenizers & Filters & IndexWriter

Index Reader & Searcher & Query parser

Слайд 6

Требования к системе индексов
Отказоустойчивость и масштабируемость
Высокая производительность поисковых серверов
Гибкое индексирование
Возможность сбора

дополнительной информации перед индексацией
Возможность анализа готового индекса

Слайд 7

Что нас не устроило в Solr
Solr:
сервер использует только один процессор
репликация индексов

на bash-скриптах
http - это дорого и медленно
сложно модифицировать
Но Lucene нас устраивает, поэтому пишем свой сервер

Слайд 8

Архитектура
Presentation
Search processing system
Event
Indexer + DB
Query
Result
Result
Read
Read
Update/Notify
Index
Replication
Query
Results
Services

Слайд 9

Требования к поисковой системе
Отказоустойчивость
Использование социального графа
Эффективность
Простое изменение и расширение функциональности
Сбор статистики

по пользователям
Высокая пропускная способность

Слайд 10

Как работает поисковая система
Get session for Schema
Execute queries
Reduce results
Schedule queries
Load results
waitAll

()
waitFor (queries complete)
waitAtLeast (result items)

Слайд 11

Проблемы: работа с индексом
Lucene активно читает файлы во время поиска
Пробовали:
Диск с

FSDirectory и NIODirectory
RamDrive с FSDirectory и NIODirectory
Lucene RamDirectory
Собственный UnsafeDirectory
Победил:
HeapDirectоry файлы как byte[] в хипе

Слайд 12

Проблемы: ThreadLocal кэши
Долгий GC из-за уймы мелких объектов в хипе
Причины:
Lucene использует

ThreadLocal кэши для некоторых объектов
Jboss Remoting на каждое соединение содает поток, а их тысячи
Первое решение:
Пул для выполнения запросов
Второе решение:
Делая другую оптимизацию, убрали эти кэши

Слайд 13

Проблемы: медленные хранимые поля
Медленная работа с хранимыми полями
Причина:
При считывании хранимого поля

создается много мусора и производятся ненужные операции
Решение:
Считывать значение в нужный тип сразу из byte[]
Результат:
На порядок быстрее стали операции с хранимыми полями
Время GC упало в 2 раза

Слайд 14

Распознавание полей
Поиск пользователей идет по следующим полям:
имя и фамилия, город, страна,

интервал возростов
Друга можно искать, вводя известные данные: «илья широков 30» «илья широков москва» «илья широков 25-30 россия»

Term
Collector

User
Index

Term
Dict.

Search System

Query Line

Fields Query

Слайд 15

Поиск по возрасту
Стандартные решения:
Добавление всех подходящих терминов
Префиксные термины для снижения количества

терминов в запросе
Запрос к FieldCache
Фильтр результатов
Наше решение:
Возраст хранится ввиде даты: yyyymmdd
Запрос по текстовым полям оборачивается в фильтрующий запрос, который проверяет отбраные документы по хранимому полю

Слайд 16

Поиск музыки
В базе есть:
артисты; альбомы; композиции
не сортированые музыкальные композиции
Три точности совпадения:
точное;

все слова из запроса; некоторые слова из запроса
Поиск всегда идет по всем видам документов
От точности совпадения зависит поведение UI
На место в выдаче влияет рейтинг документа
С индекса собираются всевозможные топы

Слайд 17

Индексация музыки
Все храним в одном индексе
У каждого документа:
в id зашит его

тип (артист; альбом; композиция; файл)
тип как отдельное поле
рейтинг как параметр индексации
рейтинг как хранимое поле
Текстовые поля:
по отдельности
необходимые комбинации
2 представления текста: оригинал + фонетика

Слайд 18

Поиск музыки
Пробовали:
Отдельный запросы для каждого типа
Повторные запросы с меньшей точностью
Настройка оценщика

веса для результата
Решение:
Запрос состоит из комбинаций: точность + поле данных
Для каждой комбинации есть интервал значений весов
Вес из подзапроса нормализуется в интервал комбинации
Если документ отвечает запросу, сразу вычисляем его тип и добавляем в соответствующий коллектор

Слайд 19

Поисковые сервера
8 серверов
7 000 МБ
20 мс
1100 з/c
2 сервера
600 МБ
3 мс
2200 з/c
6

серверов
400 МБ
7 мс
30 з/c

4 сервера
2700 МБ
50 мс
200 з/c

5 серверов
10 000 МБ
90 мс
1500 з/c

Поисковая
система

Пользователи

Музыка

Группы
Сообщества

Видео

Как, используя Lucene, построить высоконагруженную систему поиска разнородных данных

Содержание

Одноклассники в цифрахЧто у нас есть:100 млн пользователей;3.3 млн групп;.....4.1 млн

Зачем нам понадобились свои поисковые системы?Пользователь не всегда знает, как именно

Почему Lucene?Поиск по MS SQL базе был крайне медленнымНа Java написано

Как устроен Lucene? The bright blue butterfly hangs on the breezeIt’s

Требования к системе индексовОтказоустойчивость и масштабируемостьВысокая производительность поисковых серверовГибкое индексированиеВозможность сбора

Что нас не устроило в SolrSolr:сервер использует только один процессоррепликация индексов

АрхитектураPresentationSearch processing systemEventIndexer + DBQueryResultResultReadReadUpdate/NotifyIndexReplicationQueryResultsServices

Требования к поисковой системеОтказоустойчивостьИспользование социального графаЭффективностьПростое изменение и расширение функциональностиСбор статистики

Как работает поисковая системаGet session for SchemaExecute queriesReduce resultsSchedule queriesLoad resultswaitAll

Проблемы: работа с индексомLucene активно читает файлы во время поискаПробовали:Диск с

Проблемы: ThreadLocal кэшиДолгий GC из-за уймы мелких объектов в хипеПричины:Lucene использует

Проблемы: медленные хранимые поляМедленная работа с хранимыми полямиПричина:При считывании хранимого поля

Распознавание полейПоиск пользователей идет по следующим полям: имя и фамилия, город, страна,

Поиск по возрастуСтандартные решения:Добавление всех подходящих терминовПрефиксные термины для снижения количества

Поиск музыкиВ базе есть:артисты; альбомы; композициине сортированые музыкальные композицииТри точности совпадения:точное;

Индексация музыкиВсе храним в одном индексеУ каждого документа:в id зашит его

Поиск музыкиПробовали:Отдельный запросы для каждого типаПовторные запросы с меньшей точностьюНастройка оценщика

Поисковые сервера8 серверов7 000 МБ20 мс1100 з/c2 сервера600 МБ3 мс2200 з/c6

Похожие презентации