• Голосовой ввод транскрибировался в текст отдельным модулем на Java с библиотекой Vosk; далее текст конвертировался в OData-запросы.
• Использовались локальные языковые модели, запущенные через Ollama: Llama 3.1 (8B) как рабочая модель и Mistral Small (24B) для проверки гипотез.
• Для поиска по метаданным применялся RAG: локальная векторизация mxbai-embed-large и векторная БД PostgreSQL с расширением pgvector.
• В ходе тестов автор столкнулся с тем, что модели могут игнорировать вызов инструментов и выдавать нерелевантные ответы, а также искажать результат на этапе генерации текста.
• Финальное решение — универсальный инструмент запроса к 1С, который возвращает пользователю сырой JSON напрямую; после этого отпала необходимость в тяжёлой модели и сервере под RTX 4090.

Почему это важно: В статье показано, что модель способна исказить даже корректно полученные данные, когда формирует человеческий ответ. Для учётных систем критична точность реквизитов и сумм, и «почти правильный» результат становится операционным риском. Поэтому подход, где LLM помогает ориентироваться в структуре данных, а факты возвращаются напрямую из источника, выглядит более устойчивым.

На что обратить внимание: Автор явно ограничивает сценарий закрытым контуром и локальными моделями, что важно для систем, где внешние облачные API недопустимы. В финальной схеме LLM выбирает сущность и параметры фильтрации, а выдача данных идёт напрямую через returnDirect = true, чтобы исключить «испорченный телефон» генерации. Также упоминается слой обогащения контекста полей, который сейчас закомментирован и оставлен как задел для будущей более сложной фильтрации.