Новосибирский государственный университет (НГУ) разработал и внедрил собственного чат-бота на базе LLM для Telegram с интеграцией в корпоративные базы знаний. Проект поддержан грантом «Приоритет 2030» и реализован командой лаборатории прикладных цифровых технологий мехмата НГУ.

Чат-бот Meno-Tiny (1,5 млрд параметров, лидер русскоязычного бенчмарка МЕРА) интегрируется с внутренними БД и предоставляет студентам, сотрудникам и абитуриентам быстрые ответы по учебе, поступлению, инфраструктуре и жизни университета. Ключевые задачи: автоматизация поддержки, сокращение времени поиска информации, снижение нагрузки на сотрудников.

Особенности реализации:

• Использование собственной LLM для безопасной работы с чувствительными данными и адаптации ответов под российские реалии.
• Архитектура на базе виртуальной машины Cloud.ru Evolution (4 vCPU, 64 ГБ RAM, 1 GPU V100) с возможностью масштабирования под нагрузку.
• Интеграция эмбеддеров для семантического поиска, переиспользование принципов Retrieval Augmented Generation (RAG), внедрение собственных решений (GraphRAG, RAGU, smart chunker) для работы с графом знаний и повышения качества диалога.
• Внедрение механизмов токсичности, контекстной анафоры и модерации данных.
• Рекомендации для запуска LLM-бота в облаке: уделять внимание архитектуре, масштабируемости, грамотному менеджменту, не создавать техдолг, совмещать готовые фреймворки с собственными доработками.

В планах — развитие мультизадачных и мультимодальных функций (например, искусственный семинарист, модерация данных), открытие библиотеки для графовых БД и расширение сотрудничества с другими вузами.