Cloud.ru построил AI-помощника по своим онлайн-курсам на архитектуре RAG, чтобы разгрузить кураторов и давать ответы на вопросы слушателей в реальном времени. Контент курсов и документация хранятся в S3, индексируются в Qdrant, поверх работает гибридный поиск (OpenSearch + эмбеддинги) с Qwen3-Embedding-0.6B и Qwen3-Reranker-0.6B, а ответы генерирует GigaChat-2-Max; безопасность усиливают GuardRails.

Качество системы оценивают с помощью Ragas и графа знаний: инструмент автоматически генерирует вопросы и проверяет ответы по метрикам context precision/recall, faithfulness и answer relevancy для разных типов запросов (single-hop, multi-hop, конкретных и абстрактных). Авторы подчёркивают важность адаптации метрик, корректного русскоязычного сегментатора, few-shot-примеров для промптов и аккуратного описания function calling.

По итогам внедрения 57% слушателей отметили, что AI-агент помог им быстрее проходить курс, CSI вырос на 6%, а completion rate увеличился в 1,5 раза — при том, что помощник работает только на этапе изучения материалов и не вмешивается в тестирование и оценку.