Как локальный ИИ сократил оценку 500 задач с пяти рабочих дней до двух

Перед каждым циклом планирования Анастасии приходилось просматривать сотни задач и определять, какие из них важны для соблюдения законодательных требований. Ошибаться здесь дорого: если пропустить обязательную доработку, компания рискует получить штраф, а если завысить значимость второстепенной задачи, она займёт место более важной. Когда в оценке участвовали всего два крупных направления разработки, разбор примерно 500 задач уже отнимал целую рабочую неделю. Впереди было подключение новых команд, а расширять штат ради такой нагрузки не планировали.

Автор решила поручить языковой модели хотя бы предварительный отбор задач. Она выгрузила обезличенные описания, передала их нескольким внешним моделям вместе с критериями оценки и сравнила ответы со своими решениями. После нескольких попыток точность достигла примерно 60%. При этом ИИ чаще завышал важность задач, чем занижал. Для первого этапа это было приемлемо: лучше потратить время на лишнюю проверку, чем пропустить доработку, необходимую для соблюдения закона.

Но у такого подхода обнаружились недостатки. Выгрузки и перенос ответов по-прежнему требовали ручной работы, при обезличивании терялся полезный контекст, а доступность внешних сервисов нельзя было гарантировать. Поэтому Анастасия решила запустить модель прямо на ноутбуке. Так данные оставались на компьютере, а работа не зависела от зарубежных платформ.

Для автоматизации она выбрала n8n — визуальный конструктор, в котором можно соединять готовые блоки в последовательность действий, — и Ollama для запуска локальных языковых моделей. Система сама получает задачи, убирает из описаний технический мусор, передаёт текст модели вместе с правилами оценки и сохраняет результат с коротким объяснением.

Главным улучшением стала база задач, которые Анастасия уже оценила лично. По технологии RAG алгоритм ищет в ней похожие случаи и передаёт их модели в качестве примеров. Если раньше ИИ ориентировался преимущественно на инструкцию, теперь он мог учитывать, как эксперт принимал решения в аналогичных ситуациях.

Результат появился не сразу. Первые локальные версии без базы примеров совпадали с экспертными оценками лишь в 20% случаев. После настройки моделей Qwen и GPT-oss точность на тестовой выборке выросла до 70–80%, а обработка 500 задач занимала около 12 часов. Однако на реальном потоке результат оказался заметно хуже — 55–60%. Новые команды приносили незнакомые системы и формулировки, которых не было в тестовых данных.

Анастасия продолжила сравнивать варианты: меняла способ подбора похожих задач, пробовала получать несколько оценок от разных моделей или от одной модели с разными настройками, добавляла новые источники знаний. Для проверки она написала с помощью ИИ отдельную программу, которая сопоставляла результаты с экспертными оценками и показывала не только долю совпадений, но и направление ошибок. Варианты, которые начинали чаще ошибаться при подключении новых команд, отбрасывались.

Так удалось добиться 78–82% точности на реальных задачах. Ошибки в сторону завышения и занижения оценок стали более сбалансированными. Вместо простого фильтра получилась система, которая сама выставляет значения критерия приоритета, а эксперт проверяет их при необходимости.

Сейчас на обработку примерно 500 задач алгоритму требуется от 12 до 24 часов. С учётом проверки весь цикл занимает два рабочих дня вместо пяти. Причём ИИ оценивает не только новые задачи, но и те, чьи описания изменились: раньше на повторный разбор у специалиста не хватало времени. За время проекта число направлений разработки выросло с двух до девяти, а автоматизация продолжает справляться с нагрузкой.

Следующий шаг — перенести решение в корпоративную инфраструктуру, чтобы процесс не зависел от ноутбука и одного специалиста. Такая версия уже существует: пока она работает с ограничениями, но показывает сопоставимую точность и справляется с задачами в шесть раз быстрее локальной.

Главный результат для автора — не только экономия трёх рабочих дней. ИИ взял на себя повторяющиеся оценки, а эксперт получил возможность сосредоточиться на сложных случаях и контроле качества. По тому же принципу в компании уже тестируют автоматизацию ещё одного процесса.