Поисковая система и машинное обучение

Цели и вопросы

Мои цели
Переход из мира магии в мир науки
Станет понятней

Чего не будет

Я не могу за 2 часа сделать вас Data

Как устроен поиск?

Ранжирование

Ранжирование - процесс упорядочивания документов в соответствии со степенью их

Ранжирующие признаки
Запросо-независимые или статические признаки — зависящие только от документа, но

Как происходит поиск

Запрос токенизируется, к словам запроса применяется морфологический анализ, ищутся

Общая функция релевантности

Функция релевантности документа d относительно запроса q
fr(q,d)=a1h1(q,d)+a2h2(q,d)+...+anhn(q,d)
количество функций hk(q,d)

Качество поиска

Ассесоры нужны не для ручного управления, а для оценки качества

Выводы

Среднее по топу не всегда покажет порог релевантности
Никто не знает

Ссылочный антиспам

Вероятность что текст анкора коммерческий
Вероятность что сайт продает ссылки
Вероятность что

Текстовый антиспам

ПФ на странице с текстом
Вероятность встретить слово в тексте
Тематический вектор

Поведенческие факторы и антиспам

Поведение в топе
Поведение на странице и хосте
Ласт-клик.

Тематические фичи

Количество и частота новыйх объявлений - для класифайдов
Наличие интентов на

Про поиск и МО

Антиспам построены на МО
У яндекса алгоритм ранжированя работает

Типы задач

Классификация Кластеризация Регрессия Понижение размерности данных Восстановление плотности распределения вероятности по набору данных Одноклассовая

Класическая задача: Кредитный скоринг

Объект - человек
доход, есть квартира, есть жена у

Алгоритмы. Деревья решений

Random Forest

k-means

Коллаборативная фильтрация

МО для текстов

Катеригоризация
Кластеризация
Таксономия
Классификация

AlchemyLanguage API

http://www.alchemyapi.com/products/demo/alchemylanguage

Классификация текстов

http://docs.aylien.com/docs/addon-introduction

Пример. Как найти похожие документы

Пацаны сказали что LSA - это круто.

LSA?

Как работает:
удаление стоп-слов, стемминг или лемматизация слов в документах;
исключение слов, встречающихся

LSA

Пример. Как найти похожие документы

LSA:
На выходе получаем координаты в тематическом пространстве
LDA:
На

Как найти схожие документы. Обучение. LDA

Пример обучения:
http://pastebin.com/PMrCAQpz

Мера схожести

Косинусная мера
Коэффициент корреляции Пирсона
Евклидово расстояние
Коэффициент Танимото
Манхэттенское расстояние и т.д.

Пример работы

Gensim

Сложность фраз. Задача и ограничения

Ограничения:
Нужно посчитать за вменяемое время "сложность" для

Сложность фразы. Параметры.

SEO-score = вхождение фразы в разные участки снипета.

Сложность фраз

Поиск признаков
Разметили обучающую выборку
Отдельно обучили SEO-score
Нормализовали другие параметры и

Сложность фразы

Полином

fr(q,d)=a1h1(q,d)+a2h2(q,d)+...+an

Нормировка линейная

Апроксимация

Виды апроксимации

Итоговая формула

score=af(тиц)+bf(pr)+cf(ВС)+d

Как найти коэффициенты a,b,c

Таблица для поиска коэффициентов

Поиск решения

Поиск решения

Конец)

Усовершенствованный алгоритм

Выбираем параметры
Нормируем
Находим корреляцию с правильными результатами
Строим формулу
Помним про эффект переобучения

Реальный пример

https://docs.google.com/spreadsheets/d/1KSXignNr7SvNGhUU0W_uWCaxp5Ka3ea1jHRiWQKOFrM/edit#gid=573531330

Рекомендации

kime, rapidminer - комбайны
Gensim - библиотека python
SciPy - библиотека python
Национальный корпус