Айтон обрабатывает большой поток вопросов по 1С:УНФ: около 6 тыс. обращений в день и до 100 тыс. в месяц, причём примерно половина требует реальной работы консультанта, а 40–50% таких вопросов повторяются. Первый PoC не пытались делать мини-версией будущего продукта: оставили простую RAG-цепочку с поиском по базе знаний, ответом через LLM, источниками и обратной связью в Telegram, а ключевые усилия направили на валидационный датасет, автоматические метрики и мониторинг запросов.

Данные собрали из реальных диалогов поддержки и базы знаний: около 25 тыс. сообщений превратились в 618 окон контекста, 1 985 черновых пар вопрос-ответ и 972 пары после фильтрации по стандартному функционалу 1С:УНФ. Для оценки прототипа сделали 110 проверочных пар, использовали LangFuse для трассировки и Ragas для метрик; прогон стоил около $1.54, Faithfulness был около 0.8, Answer Correctness — 0.53, а дополнительный тест Айтона для найма консультантов бот прошёл успешно.

После реальной эксплуатации прямой RAG расширили до агента: добавили память и context engineering, работу со скриншотами через мультимодальную модель, уточняющие вопросы через системный промпт, суб-агента для проверки несуществующего функционала и расширение базы через транскрипции видеоуроков. Агент собран на LangChain 1.0, в финальной версии использует Gemini 3.1 Pro, а качество оценивается не только базовыми RAG-метриками, но и метриками выбора инструментов, уточнений, Hit Rate@k, MRR, FuzzyToolCallF1 и verdict_l1_accuracy; сейчас сервис выведен наружу с биллингом и собственной монетизацией.