Текстовое ранжирование

Что и для чего проходим?

Текстовое ранжирование: TF/IDF, BM25, BM25f, LinkBM25
Частота и

TF (term frequency — частота слова)

Задание 1

Задание: посчитайте TF для слова «купить» в тексте
“Влад давно собирался

IDF (Document Frequency)

инверсия частоты, с которой некоторое слово встречается в документах коллекции. 

IDF

DF = количество документов, в которых встречается слово / количество документов

IDF (Document Frequency)

BM25

Текстовое ранжирование: пассажи

Текстовое ранжирование: расчет веса словопозиций

Текстовое ранжирование: употребление частей речи

Текстовое ранжирование: контекстуальное сходство

Текстовое ранжирование: контрастность слова

TF (term frequency — частота слова)

TF (term frequency — частота слова)

TF (term frequency — частота слова)

TF (term frequency — частота слова)

TF-IDF - важность слова в документе

TF-IDF=TF*IDF

Задание #1 - cчитаем TF-IDF

1. Посчитать количество слов в каждом тексте.
2.

Задание #1 - cчитаем TF-IDF

https://docs.google.com/spreadsheets/d/1pVC2EHYghvXcBc_cURuLXgvPnatr76hMDPqjOkpu1ts/edit?usp=sharing

PageRank (PR)

PageRank

Некоторые понятия PageRank

TF (term frequency — частота слова)

1 итерация

2 итерация

Обратная связь PageRank

Что влияет на PageRank

Кто на вас ссылается
На кого вы ссылаетесь
Навигация на

Задание

Вопрос: какая страница даст больше веса
- PageRank 4, 20 исходящих ссылок
-

PageRank – архивные предсказания

Шаг 1

Шаг 2

Шаг 3

Шаг 4

Шаг 1

Шаг 2

Шаг 3

Шаг 4

PageRank

Иерархическая структура

Циклическая структура

Все на всех

Все на всех

Все на всех

Все на всех

Задание #1 - cчитаем PageRank

Изменения при итерациях

Задание: посчитайте сколько веса будет передано в 3 итерации

1.0

1.0

1.0

1.0

1.0

Обратная связь PageRank

Утверждения о PageRank

PR – это вероятность нахождения пользователя на заданной странице.

Алгоритм возврата: в случае наличия ссылки на штрафной документ, её голос

Утверждения о PageRank

Если ссылок несколько: учитывается одна ссылка или все? В

Утверждения о PageRank

Коэффициент затухания: страница не может голосовать так, чтобы другая

Утверждения о PageRank

Чем больше страниц в индексе, тем выше изначальный PageRank

Утверждения о PageRank

PageRank не зависит от содержания страницы, возраста документа и

Утверждения о PageRank

Google объявил, что прекратит отображение тулбарного PageRank, так что

Утверждения о PageRank

Как влиять на ранжирование с помощью PageRank? Об этом

Все на всех

Вес на главную

Вес на карточки

PageRank (равномерная перелинковка)

Задачи ПС:

тИЦ

Утверждения о PageRank

тИЦ – это PageRank, присвоенный домену

Утверждения о PageRank

Тематический индекс цитирования (тИЦ) — технология поисковой машины «Яндекс»,

Утверждения о PageRank

При расчете алгоритмом тИЦ не учитываются ссылки с форумов,

Утверждения о PageRank

Влияет ли тИЦ на ранжирование?

тИЦ 10

тИЦ 180

TrustRunk

TrustRank

TrustRank — показатель авторитетность сайта. Передается за счёт ссылок с самых авторитетных

TrustRank

У этого сайта с TrustRank всё в порядке

TrustRank

Задание #2

Задание #2 – назовите 5 авторитетных сайтов, которые, по-вашему

ПФ: BrowseRank

BrowseRank

В алгоритме BrowseRank голосующую способность имеют не ссылки, а поведение пользователейTrustRank

BrowseRank оперирует

1. Надстройки для браузеров
2. Метрику (Яндекс.Метрика, Google Analytics и др.)
3.

BrowseRank оперирует

User1
User2
User3
User4

BrowseRank

Модификации:
ClickRank
Fresh BrowseRank

Fresh BrowseRank

Более новые страницы, вероятно, более релевантны запросам, чувствительным к новизне, чем

Fresh BrowseRank

ПФ: pFound

pFound – вероятность перехода на сайт

pRel - релевантность i-того документа (принимает

pFound – вероятность перехода на сайт

pRel - релевантность i-того документа (принимает

ПФ: паттерны поведения

Дерево маршрута

Паттерны поведения

Характеристики дерева маршрута

Характеристики дерева маршрута

Характеристики дерева маршрута

Поведение пользователей

Классификация текстов и запросов

Тематическая классификация

К каким категориям отнести документ?

Машинное обучение

Тематическая классификация

F3

F7 > 2

F3 > 2

F3 > 1

2

1

4

3

Деревья вариантов

Инструкция

Алгоритмы

Машинное обучение

Асессоры

Асессоры

Асессоры

A/B тестирование

Апдейты

Апдейты

BM25

Okapi BM25 — функция ранжирования

Модификации BM25

BM11, BM15
BM25F
LinkBM25