Kodik обошёл Codex, OpenCode и DeepSeek Harness: почему важна не только ИИ-модель

Выбирая ИИ-помощника для программирования, обычно смотрят на саму модель: насколько хорошо она пишет код, справляется со сложными проектами и сколько стоит её использование. Но между моделью и готовым результатом есть ещё один важный компонент — агентная оболочка. Именно она организует работу модели: передаёт инструкции, помогает находить нужные файлы, запускает команды, сохраняет важную информацию и проверяет изменения.

Представим, что агенту поручили исправить ошибку в большом проекте. Сначала ему нужно разобраться в чужом коде, найти причину проблемы, внести исправления и запустить тесты. Если проверка обнаружит ошибку, придётся вернуться к коду. На каждом этапе агент решает, какую информацию передать модели и что сохранить для следующих шагов. Поэтому даже с одной и той же моделью два инструмента могут показать разные результаты: один потеряет важные детали или потратит время на лишние действия, а другой доведёт задачу до конца.

Команда Kodik проверила, насколько велика эта разница. Для испытаний выбрали DeepSWE 1.1 — набор из 113 задач в 91 открытом репозитории на TypeScript, Go, Python, JavaScript и Rust. Агенты самостоятельно изменяли код, а специальная система проверяла, работает ли готовое решение. В каждом сравнении использовали одну модель и одинаковые задания. Различались только агентные оболочки, их инструкции и инструменты.

Самый большой отрыв получился с GPT-6 Luna. Kodik справился с 66 задачами из 113 (58,4%), а Codex — с 44 (38,9%). Иначе говоря, Kodik решил на 50% больше задач относительно результата Codex. Правда, за одну попытку он тратил больше времени и денег: $0,101 против $0,089. Зато с учётом неудачных попыток одно успешное решение обошлось в $0,172 против $0,228 у Codex. Экономия составила около 25%.

С более мощной GPT-6.1 Sol разница оказалась гораздо меньше: Kodik решил 83 задачи, а Codex — 81. Зато стоимость успешного решения снизилась с $1,229 до $0,993, примерно на 19%. При этом сами разработчики Kodik признают: преимущество всего в две задачи слишком невелико, чтобы гарантировать такой же результат в следующем испытании.

С DeepSeek V4.1 Flash картина другая. Kodik выполнил 86 задач против 78 у DeepSeek Harness и работал быстрее. Средняя продолжительность попытки сократилась с 20,95 до 17,60 минуты, а время на одно успешное решение — почти на 24%. Но экономии не получилось: успешная задача стоила $0,393 против $0,373. Kodik чаще обращался к инструментам и расходовал заметно больше токенов — единиц текста, за обработку которых взимается плата.

В испытании с GLM 5.3 Flash Kodik решил 73 задачи против 67 у OpenCode. Стоимость успешного решения составила $0,595 против $0,763 — примерно на 22% меньше. Однако и здесь обнаружился компромисс: Kodik тратил на успешную задачу 69,27 минуты, тогда как OpenCode — 64,33 минуты. Получилось дешевле и результативнее, но не быстрее.

Откуда берётся такая разница? Разработчики Kodik выделяют три направления работы. Первое — отдельные инструкции для разных семейств моделей: OpenAI, DeepSeek и GLM по-разному реагируют на одни и те же указания. Второе — управление контекстом, чтобы агент сохранял требования задачи и результаты предыдущих действий, не перегружая модель лишними сведениями. Третье — инструменты и проверка кода: агент должен замечать ошибки, исправлять их и не повторять бесполезные операции. О том, как инструменты, память и контекст влияют на работу ИИ-агентов, PubMag рассказывал ранее.

Особенно любопытно сравнение двух моделей OpenAI. С более мощной Sol Kodik опередил Codex всего на две задачи, а с менее производительной Luna — сразу на 22. Авторы предполагают, что качество агентной оболочки особенно важно для моделей с ограниченными возможностями. Сильная модель, возможно, способна самостоятельно компенсировать некоторые недостатки инструкций и управления контекстом. Более слабой требуется лучше организованная работа. Это может быть полезно компаниям, которые запускают небольшие ИИ-модели на собственных серверах, где вычислительные ресурсы ограничены. Но двух сравнений недостаточно, чтобы считать такую закономерность доказанной.

Есть и другие оговорки. Испытания проводила сама команда Kodik, а не независимые исследователи. Расходы рассчитывали по количеству использованных токенов и справочным тарифам моделей — без учёта подписок и работы программистов. Для DeepSeek и GLM показатели времени и стоимости оценивали по сопоставимым выборкам из 92 и 108 задач соответственно. Кроме того, в аудите DeepSWE от 7 сентября 2026 года исследователи Samaritan Research обнаружили проблемы с проверкой как минимум в 23 из 113 заданий. В некоторых случаях система может отклонить даже правильно работающий код.

Результаты Kodik не доказывают, что он всегда будет лучше конкурентов: сравнивались конкретные модели, настройки и задания, а для уверенных выводов нужны повторные независимые испытания. Но исследование хорошо показывает, почему при выборе ИИ-помощника не стоит ориентироваться только на рейтинг модели. Важно смотреть на весь инструмент: сколько задач он действительно доводит до конца, сколько времени тратит и во сколько обходится успешный результат с учётом всех неудачных попыток.