Neural Networks for Information Retrieval

Июль 25, 2022

Главная
Информатика
Neural Networks for Information Retrieval

Содержание

2. Word embeddings and convolution neural networks for NLP
3. Semantic Level NLP Поиск синонимов Ответы на вопросы Чат боты Машинный перевод Построение аннотаций ….
4. xмальчик: [0 0 0 0 1 0 0 0 0 ] xпарень: [0 0 0 0
5. Проблема: Очень высокая размерность пространства Костыль 1: Лемматизация (“Парни -> парень”, “Шёл” ->”Идти”) Side-effect 1: Лемматизация
6. Лингвистические единицы, встречающиеся в схожих контекстах, имееют близкие значения. Дистрибутивная гипотеза Гипотеза: Значит, представления слов, можно
7. Word2Vec (2013) Архитектуры CBOW и Skip-gram
8. CBOW (Continious Bag of Words)
9. Skip-gram
10. Skip-gram Оптимизируем
11. Skip-gram Вычисление вероятностей выходных слов
12. Negative sampling Идея:
13. Свойства выученных представлений vec(“man”) - vec(“king”) + vec(“woman”) = vec(“queen”)
14. Пример модели
15. Doc2vec (Mikolov, 2014) Обобщение word2vec на целые документы (фразы, предложения и т.д.) Преобразует текст произвольной длины
16. Doc2vec (Mikolov, 2014) Distributed Memory (DM)
17. Doc2vec (Mikolov, 2014) Distributed Bag of Words (DBOW)
18. Character-level ConvNet Trained for text classification
19. Векторное представление текста как изображения
20. Convolutional Neural Networks for Sentence Classification Обычная сверточная сеть, проинициализированная word2vec представлениями слов
21. Neural networks for recommendation systems
22. Рекомендательные системы
23. E-commerce
24. Recommender systems - The task Нужно построить модель, предсказывающую насколько user нравятся items У типичной рекомендательной
25. Approaches to recommender systems Collaborative filtering Основан на анализе предпочтений пользователей таких как рейтинги фильмов, лайки
26. Matrix factorization
27. A feed-forward neural network view
28. Pytorch example
29. Factorization Machines
30. Factorization Machines as Neural Network
31. A deeper view
32. Wide and Deep (Google 2016)
33. Нейросетевые архитектуры для CF FNN - FM initialized feed forward neural network PNN - Product based
34. DeepFM (2017)
35. DeepFM (2017)
36. Prod2Vec and Item2Vec Prod2vec skip-gram model Prod2Vec & item2vec: факторизация матрицы совместной покупки товаров Аналог word2vec
37. Pandao2Vec + _ = Чехол для IPhone Стекло для IPhone Стекло для Samsung Чехол для Samsung
38. Pandao2Vec Топ 1000 товаров
39. Neural networks for information retrieval
40. Задача ранжирования в поиске
41. Поиск
42. Vector space ranking model
43. BM25
44. Классические модели
45. Векторная модель
46. Векторная модель
47. Векторная модель
48. Latent Semantic Analysis
49. Dual Embedding Space Model (DESM)
50. Dual Embedding Space Model (DESM)
51. Dual Embedding Space Model (DESM)
52. Dual Embedding Space Model (DESM)
53. Lexical and Semantic matching Традиционные модели инфопоиска работают исключительно на лексическом матчинге Representation модели могут учитывать
54. Инструмент
55. Deep Structured Semantic Model (DSSM) (2013)
56. Deep Structured Semantic Model (DSSM) (2013) Collisions Learning
57. DSSM в яндексе
58. DSSM в яндексе Запрос: [келлская книга]
59. DSSM в яндексе Запрос: [евангелие из келлса]
60. DSSM в яндексе Запрос: [рассказ в котором раздавили бабочку]
61. Interaction matrix based approaches
62. MatchPyramid Сверточные слои поверх interaction matrix между запросом и документом После конволюций полносвязные слои
63. MatchPyramid
64. Duet Model Совместно тренируем 2 подсетки, сфокусированные на лексическом и семантическом матчинге
65. Duet Model
66. Duet Model
68. Скачать презентацию

Слайд 2

Word embeddings and convolution neural networks for NLP

Слайд 3

Semantic Level NLP
Поиск синонимов
Ответы на вопросы
Чат боты
Машинный перевод
Построение аннотаций
….

Слайд 4

xмальчик: [0 0 0 0 1 0 0 0 0 ]
xпарень:

[0 0 0 0 0 0 1 0 0 ]
xолень: [0 1 0 0 0 0 0 0 0 ]

Классический подход:
Перенумеровываем слова (“один”,”два”)
Используем one-hot encoding

Проблема:

||xмальчик - xпарень|| = ||xпарень - xолень||

Решение: компактные представления

Word-based NLP

Слайд 5

Проблема: Очень высокая размерность пространства
Костыль 1: Лемматизация (“Парни -> парень”, “Шёл”

->”Идти”)
Side-effect 1: Лемматизация приводит к потере информации
Костыль 2: Заменить редкие слова заглушкой
Side-effect 2: Во многих задачах редкие слова крайне информативны

Word-based NLP

xмальчик: [0 0 0 0 1 0 0 0 0 ]
xпарень: [0 0 0 0 0 0 1 0 0 ]
xолень: [0 1 0 0 0 0 0 0 0 ]

Слайд 6

Лингвистические единицы, встречающиеся в схожих контекстах, имееют близкие значения.
Дистрибутивная гипотеза
Гипотеза:
Значит, представления

слов, можно построить с помощью контекстов, в которых эти слова употребляются.

Вывод:

Слайд 7

Word2Vec (2013)
Архитектуры CBOW и Skip-gram

Слайд 8

CBOW (Continious Bag of Words)

Слайд 9

Skip-gram

Слайд 10

Skip-gram
Оптимизируем

Слайд 11

Skip-gram
Вычисление вероятностей выходных слов

Слайд 12

Negative sampling
Идея:

Слайд 13

Свойства выученных представлений
vec(“man”) - vec(“king”) + vec(“woman”) = vec(“queen”)

Слайд 14

Пример модели

Слайд 15

Doc2vec (Mikolov, 2014)
Обобщение word2vec на целые документы (фразы, предложения и т.д.)
Преобразует

текст произвольной длины в вектор фиксированного размера
Distributed Memory (DM)
Distributed Bag of Words (DBOW)

Слайд 16

Doc2vec (Mikolov, 2014)
Distributed Memory (DM)

Слайд 17

Doc2vec (Mikolov, 2014)
Distributed Bag of Words (DBOW)

Слайд 18

Character-level ConvNet
Trained for text classification

Слайд 19

Векторное представление текста как изображения

Слайд 20

Convolutional Neural Networks for Sentence Classification
Обычная сверточная сеть, проинициализированная word2vec представлениями

слов

Слайд 21

Neural networks for recommendation systems

Слайд 22

E-commerce

Слайд 24

Recommender systems - The task
Нужно построить модель, предсказывающую насколько user нравятся

items
У типичной рекомендательной системы имеется:
Матрица users и items
Рейтинги, отражающие их прошлые предпочтения
Задача состоит в предсказании будущих предпочтений
В общем случае, все НЕ ограничивается предсказанием рейтинга

Слайд 25

Approaches to recommender systems
Collaborative filtering
Основан на анализе предпочтений пользователей таких как

рейтинги фильмов, лайки и т.д.
Content-based filtering
Основан на матчинге представлений items и users
Пользовательский профиль может представляться предыдущими рейтингами, посещенными страницами в интернете, поисковыми запросами и т.д.
A hybrid approach

Слайд 26