Data Scientist. Рекомендательные системы

сделать.
2. Подсчет топ 10 самых популярных товаров для каждого пользователя и оценка этого подсчета –
как идеал, к которому мы будем стремиться.
3. Roadmap работы, какие подходы и какие библиотеки использовались.
3.1 Иплисит ALS и kNN
3.2 LightFM
3.3 Нейросеть
4. Подведение итогов и вывод.

особенностей
каждого пользователя. Представим задачу графически.
Нам нужно:

Вот это

Превратить вот в это

Получив при этом скор (MAP@10)

>= 0,2094

Но, стремится мы будем сюда ?

> 0,25

данных

Нейронная сеть

Выбор лучшей системы на основе полученных скоров

библиотека, главная фишка заключается в том, что можно прямо «из коробки» передать топ из скольки товаров мы хотим порекомендовать каждому покупателю. Перед тем, как обучать алгоритм есть 2 главных параметра его настройки: т н факторы (factors) и итерации (iterations). От различных комбинаций этих двух параметров варьируется скор. Однако это изменение не столь существенное, если сравнивать его с влиянием, что оказывает подготовка данных: категориальное кодирование. (~0.006 против ~0.025). Было опробовано несколько комбинаций факторов и итераций. Оптимальными показали себя factors=30, iterations=8. Итоговый скор с ними 0.05377. Это существенно НЕ ДОТЯГИВАЕТ до заданных целей.
3. Implicit kNN (k Nearest Neighbours)
Метод из той же библиотеки, но основанный на другом принципе: он сравнивает величину с k ближайшими соседями для выявления сходств. Такой подход сработал лучше всего при 10 соседях, дав 0.12458 точности предсказаний. Однако до заданной планки это также существенно НЕ ДОТЯГИВАЕТ.
4. LightFM
Другая библиотека, также основаная на принципе разряженных матриц, однако при создании модели позволяет добавлять вспомогательные фичи для юзеров и айтемов, представляющих строки и столбцы такой матрицы. Кроме этого можно настраивать веса образцов, задавать функцию потерь и выбирать количество эпох обучения, совсем как в нейросетях. Система однако, может работать и по одной лишь матрице, и иногда (СПОЙЛЕР: как например в данном случае) лучше для предсказаний. Основное отличие от Implicit – механизм построения матрицы. Строками и столбцами в данном случае должны быть не айдишники товаров и пользователей, а их индексы в датафрейме с весами, иначе алгоритм просто не научится. Скор такая система дает как ALS - 0.05358. Вердикт: НЕ ДОТЯГИВАЕТ.

т н разряженная матрица (sparse matrix). Мне такую удобнее было всего получать при помощи библиотеки scipy.sparse. Чтобы получить эту самую матрицу, сначала нам требуется преобразовать входные данные. Делается это буквально в одну строчку. Нам нужно посчитать кол-во добавлений каждого товара в корзину для каждого пользователя. Выглядеть такая группировка будет следующим образом:

Далее закодируем значения этих столбцов с помощью cat.codes и создадим из них 2 разряженных матрицы: одну «айтем-юзер» и другую «юзер-айтем». Первую будем использовать для обучения алгоритма, а вторую для предсказаний. Можно так же транспонировать одну матрицу и использовать для того и другого, но лучше срабатывает первый метод.
После того как матрицы готовы остается только обучить на одной из них алгоритмы и после предсказать(порекомендовать) на другой требуемый топ товаров для желаемого пользователя или списка пользователей.
Звучит это просто и легко, но…

Интересная проблема

В начале все было нормально и библиотека ставилась с помощью !pip install Implicit, но в один прекрасный день этот способ просто перестал работать

Клонирование с Github уменьшало точность в разы. Однако все работало и выполнялось точно так же

!sudo -H python3 -m pip install implicit --no-cache --force-reinstall --log ./implicit.txt – помогла только эта строчка! И тут я понял, что

по-настоящему рабочего было решено воспользоваться нейронной сетью.
Исходный набор признаков был преобразован и дополнен, и в итоге получилось 3 признака для пользователей и 6 для продуктов. В качестве таргета был взят факт повторного заказа того или иного продукта конкретным юзером. Весь сет был разбит на трэйн и тест выборки по принципу разницы между первым и последним номера заказа. Если разница была больше 1, то такие строки уходили в трэйн, если меньше – то в тест.
Идея была в том, чтобы по величине сырой сигмоиды после предсказаний судить о «силе» или весе того или иного продукта для конкретного пользователя. Отсортировав все эти продукты по убыванию значения сигмоиды, можно было получить топ N. Не всегда это был топ 10, иногда больше, иногда меньше, ведь с некоторыми продуктами некоторые пользователи могли вовсе не взаимодействовать.
Итоговый сет из 10 продуктов добивался случайным образом из исторического топ10 для каждого юзера. Также он добивался и рандомом из всех возможных продуктов, но добивать из топ10 было выгодней для скора приблизительно на 0.015. Повторы естественно исключались.

одномерный тензор

Объединение

Некоторый стек полносвязных слоев. Он менялся в ходе экспериментов. Менялось
кол-во слоев, выходное пространство первого слоя и последующих, значение
регуляризации l2, общего для всех слоев.

рекомендации, другая наивысшую точность предсказаний (accuracy):

Лучшие предсказания (MAP@10 - 0.27080, accuracy – 0.70)

Лучшая точность (MAP@10 - 25571, accuracy - 0.97)

Архитектура показана на пред. cлайде, Adam, lr=1e-3, reg. l2=0.01

4 dense(128, 64, 32, 16), Adam, lr=1e-3, reg. l2=0.001

предсказания:

Набор списка из 10 продуктов для пользователя:

fetch = rec_df.groupby('user_id')['product_id'].apply(list).reset_index()

swap =  random.choices(top_10.tolist()[i], k=10)
for i in fetch.index:
  while len(fetch['product_id'][i]) != 10:
    if len(fetch['product_id'][i]) < 10:
      fetch['product_id'][i].append([x for x in swap if x not in fetch['product_id'][i]]) # здесь исключаются повторы
    elif len(fetch['product_id'][i]) > 10:
      fetch['product_id'][i].remove(fetch['product_id'][i][-1]) # удаляем последний (наименее популярный элемент)