Современные системы глубоких рекомендаций на основе сеансов могут быть каким-то образом ограничены узким местом softmax, как и их родственники языковой модели.
TL;DR:
Традиционный softmax ограничен в своих возможностях для полного моделирования таких задач, как естественный язык, которые сильно зависят от контекста. Этот предел выразительности, называемый узким местом Softmax, можно описать через призму матричной факторизации и изучения результирующих матричных рангов.
Смесь Softmaxes Yang et al. [1] позволяет преодолеть узкое место за счет увеличения выразительности сети без резкого увеличения количества параметров.
В этой работе я изучаю, применимо ли это ограничение к рекомендательным системам, основанным на глубоких сеансах, и может ли техника MoS быть полезной. Я реализовал эту технику и применил ее к архитектуре Gru4Rec, используя набор данных movielens-25m [3]. В результате зависит…
Введение
В предыдущей роли, когда я работал над крупномасштабной системой глубоких рекомендаций на основе последовательностей, ко мне обратилась команда разработчиков продукта, указав на выявленный вариант использования, когда качество рекомендации было действительно низким. Рекомендуемые элементы не соответствовали тому, что смотрел пользователь, и, скажем так, они не были лучшим из того, что могла предложить компания.
Так что же происходило? Что ж, после тщательного изучения мы поняли, что это конкретно касалось элементов, которые команда по контенту вручную продвигала для отображения на главной странице (что было еще более проблематичным). Указанные элементы неоднократно обнаруживались в пользовательских последовательностях, извлеченных для обучения. Поначалу это было довольно тревожно, потому что мы знали и ранее продемонстрировали, что чем больше у алгоритма примеров пользовательских последовательностей с данным элементом для обучения, тем выше качество рекомендации для этого конкретного элемента.
В данном случае это был прекрасный пример того, что больше данных не всегда лучше. Пользователь…
