ARGUS: новое поколение масштабируемых рекомендательных трансформеров Яндекса

Яндекс представил новую архитектуру масштабируемых рекомендательных трансформеров ARGUS для своих сервисов: Яндекс Музыка, Алиса, Маркет и Лавка. Разработка велась более пяти лет и уже дала ощутимые результаты в повышении качества персональных рекомендаций.

Основная задача — преодолеть ограничения классических моделей рекомендаций: огромные каталоги контента, множество пользователей с изменяющимися интересами, необходимость быстрого отклика и ограниченность вычислительных ресурсов. Для этого используется многостадийная архитектура: сначала легкие модели (retrieval), затем сложные — для ранжирования кандидатов (ranking).

Ключевое отличие ARGUS — обучение на всех взаимодействиях пользователя (и положительных, и отрицательных), а также одновременное решение двух задач: Next Item Prediction (предсказание следующего действия) и Feedback Prediction (прогноз реакции пользователя). Такой подход обеспечивает фундаментальное понимание паттернов поведения и предпочтений, аналогично тому, как LLM осваивают разнообразные задачи в NLP.

ARGUS масштабируется по нескольким осям: размер эмбеддингов (до сотен миллионов параметров), длина пользовательской истории (до 8 тысяч событий), объем обучающих данных (300+ млрд взаимодействий) и размер энкодера (до 1 млрд параметров). Внедрение модели показало линейную зависимость улучшения качества рекомендаций от роста размера архитектуры.

В Яндекс Музыке внедрение ARGUS дало рост основных метрик (например, TLT и вероятность лайка), а в режиме "Незнакомое" время прослушивания увеличилось на 12%, вероятность лайка — на 10%. Подход уже внедрён в другие сервисы . Развитие нейросетевых рекомендаций и дальнейшее масштабирование архитектуры остаются приоритетом компании.

← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!