RUTUBE рассказала, как внедряла RAG-систему для автоматизации поддержки: новая платформа уже обрабатывает до 70% пользовательских запросов и снижает число “неизвестных” ответов на 20% за три месяца. Главная задача — отвечать быстро и качественно на тысячи ежедневных обращений, не увеличивая нагрузку на операторов и не жертвуя безопасностью (все модели работают локально, проприетарные решения не используются).

RAG-система строится на гибридном поиске (семантика + BM25), регулярном обновлении базы знаний и использовании модели Vikhr-Nemo-12B для генерации ответов. В качестве базы знаний используются стандартизированные и автоматически обновляемые FAQ и инструкции, интеграция с HelpDeskEddy позволяет операторам быстро вставлять готовые ответы.

Проект стартовал с хакатона, где команды предложили лучшие практики по синтетике данных, гибридному поиску и защите от галлюцинаций. Внедрение векторной базы Milvus обеспечило масштабируемость и скорость, мониторинг через Kafka, ClickHouse и Grafana позволяет оперативно выявлять и устранять “слепые зоны”. Среднее время ответа сократилось до 7 секунд. Такой подход уже доказал эффективность: скорость, актуальность и надёжность системы позволяют RUTUBE масштабировать поддержку без потери качества.