Как разработчики сократили число ошибок ИИ в поддержке покупателей на 38%

Всё началось с обычного бота для напоминаний. После негативного отзыва маркетплейс открывал чат с покупателем. Если переписка затихала, менеджеру приходилось вручную возвращаться к разговору и напоминать о себе. Разработчики решили автоматизировать эту работу. Бота запускали осторожно: сначала на 10% диалогов, затем расширили охват до 30%, 50% и 100%.

Но вскоре обнаружилась неприятная особенность. Бот мог написать покупателю, с которым менеджер уже договорился о возврате денег. Человеку оставалось дождаться обработки заявки, а система продолжала присылать напоминания. Чтобы избежать таких ситуаций, нужно было научить автоматизацию понимать, действительно ли разговор ещё требует продолжения.

Простые правила по ключевым словам не сработали. Например, фраза «если появятся вопросы, напишите нам» обычно завершает общение, а не приглашает продолжать переписку прямо сейчас. Из 655 прощальных сообщений специалистов в 605 встречалось предложение обратиться снова. Отличить такие сообщения от незавершённых разговоров разработчики попробовали с помощью языковой модели Qwen3-30B-A3B, запущенной через Cloud.ru.

Следующая проблема возникла с ответами самих покупателей. Первоначально бот прекращал напоминания после любой реакции. Но покупатель может поблагодарить за помощь, пожаловаться, что деньги ещё не пришли, или потребовать больше ему не писать. Каждая ситуация требует своего действия.

Разбор 435 диалогов с реальными напоминаниями показал, насколько различаются ответы. Из 310 ответивших покупателей 155 ждали решения продавца, 85 выражали раздражение, конфликтовали или угрожали, 60 благодарили либо сообщали, что вопрос решён, а ещё 10 отказывались от дальнейшего общения. Поэтому ИИ поручили выбирать между тремя действиями: продолжить напоминания, остановить их или прекратить автоматическую переписку и передать обращение менеджеру. Самостоятельно сочинять ответы покупателям модель не должна была.

Сначала разработчики проверяли качество решений по разметке другого ИИ-ассистента. Но когда к оценке подключили сотрудника поддержки, выяснилось, что такой ориентир ненадёжен. На 200 примерах решения ассистента совпали с мнением менеджера только 120 раз — в 60% случаев. Модель могла показывать высокую точность по автоматической разметке, но при этом выбирать действия, которые не устраивали самого специалиста.

Для следующих экспериментов подготовили 500 диалогов с решениями менеджера. В 345 случаях напоминания следовало остановить, в 155 — продолжить. На этой выборке разработчики сравнили одиночные модели и более сложную систему из двух моделей и арбитра.

В новой схеме Qwen3-30B-A3B и gpt-oss-120b независимо оценивали переписку. Если их решения совпадали, система принимала общий вердикт. Если расходились, спор разбирала DeepSeek-V4-Flash, а резервной моделью служила GLM-4.5-Air. В одной из серий две основные модели соглашались примерно в 78% случаев, поэтому арбитр требовался лишь примерно для 21% запросов. Такой подход позволял не обращаться к более дорогой модели при каждом решении.

Однако усложнение системы само по себе не принесло решающего улучшения. На 500 диалогах исходная Qwen с настроенными инструкциями и дополнительным правилом выбирала правильное действие в 74% случаев. Первый вариант каскада повысил результат до 78%, но при этом чаще останавливал переписки, которые можно было продолжать: 60 таких ошибок вместо 45.

Разработчики стали разбирать случаи, на которых ошибались почти все модели, и заметили важную закономерность. Если сотрудник поддержки ещё не участвовал в разговоре, менеджер разрешал продолжать напоминания в 85 из 105 случаев. А если специалист уже отвечал покупателю, напоминания следовало остановить в 325 из 395 случаев.

Простейшее правило «менеджера ещё не было — продолжаем, менеджер уже отвечал — останавливаемся» совпало с решениями человека в 82% случаев. Это оказалось лучше результатов всех ранее проверенных вариантов. Правда, для самостоятельной работы такое правило слишком грубое: оно не учитывает исключения и содержание конкретного разговора.

Поэтому разработчики добавили в запрос к моделям отдельную пометку о том, участвовал ли менеджер в переписке. Одновременно уточнили инструкции и сократили число категорий ответов с 12 до семи. В итоге выбрали каскад с русскоязычными инструкциями, который достиг 84% совпадений с решениями менеджера.

По сравнению с исходной одиночной моделью общее число ошибок на тех же 500 диалогах сократилось со 130 до 80 — на 38%. Ошибочных разрешений продолжать переписку стало 50 вместо 85, то есть на 41% меньше. ИИ также реже прекращал допустимые напоминания: таких случаев стало 30 вместо 45. При этом средняя стоимость одного решения практически не изменилась и осталась около 0,03 ₽.

Другие эксперименты показали, почему недостаточно просто заставить модель действовать осторожнее. Дополнительные ограничения действительно уменьшали долю ошибочных продолжений, но одновременно отсекали около 40% допустимых. Увеличение истории переписки с четырёх до восьми сообщений тоже не помогло улучшить результат.

Главный урок этого эксперимента — для качественной автоматизации мало выбрать подходящую языковую модель. Не менее важно правильно сформулировать задачу, сверять решения с практикой сотрудников и передавать ИИ сведения о том, что уже произошло в процессе обслуживания. Пока улучшение подтверждено только экспериментальными проверками. Выбранный каскад ещё предстоит испытать на новых диалогах и внедрить в рабочую систему.