Можно ли заменить Codex и Claude Opus? Тест показал силу дешёвых ИИ-моделей и пределы локальных

Автор публикации на Хабре решил выяснить, можно ли заменить дорогие облачные модели локальными или более доступными альтернативами. Причина не только в деньгах: правила подписок меняются, доступ зависит от страны, а поставщик может ограничить использование модели или заблокировать аккаунт. Собственная модель избавляет от такой зависимости, но остаётся вопрос: способна ли она выполнять рабочие задачи на том же уровне?

Для сравнения автор подготовил одну задачу на Python с несколькими ловушками. ИИ-агенту давали проект minibank примерно на 700 строк кода. Программа ведёт банковские счета в разных валютах, обрабатывает переводы, рассчитывает комиссии и формирует выписки. Жалоба клиента выглядела просто: после валютных переводов сумма в месячной выписке не совпадает с остатком на счёте. Нужно найти ошибку, исправить её и проверить, не возникает ли такая же проблема в других местах.

Причина расхождения заключалась в повторном пересчёте переводов по изменившемуся валютному курсу. Вместо суммы, которая действительно поступила на счёт, программа показывала результат нового пересчёта. Однако заменить старый конвертер новым было недостаточно: это устраняло часть симптомов, но сохраняло саму ошибку.

Агенту предстояло разобраться и с менее очевидными условиями. Старые операции не должны меняться после исправления валютного курса. Месяц выписки нужно определять по UTC, комиссии показывать отдельными строками, а время в бухгалтерском CSV-экспорте записывать в установленном формате. Кроме того, файл DECISIONS.md запрещал менять старый конвертер, от которого зависела партнёрская выгрузка. Один из готовых тестов содержал неправильные ожидаемые суммы — его следовало исправить, а не подгонять под него программу.

Автор проверял результат с помощью 20 скрытых тестов, отдельно оценивал семь сложных условий, соблюдение ограничений проекта и качество тестов, которые агент написал самостоятельно. Последние проверяли на девяти специально подготовленных неправильных исправлениях. Итоговую оценку привели к шкале, где 1 означает идеальное решение, 0 — отсутствие полезного результата, а отрицательное значение — ухудшение работы программы. На выполнение давалось не более 20 минут.

Сначала автор установил ориентир с помощью облачных моделей. Codex на GPT-6.1-sol получил максимальную оценку 1,00 за 101 секунду при расчётной стоимости около $0.14. Claude Opus 5.5 справилась за 91 секунду и $0.30, набрав 0,96. Обе прошли все 20 скрытых тестов и семь сложных условий. Разница возникла только в собственных тестах агентов: Codex обнаруживал все девять неправильных исправлений, а Opus пропустила одно. Claude Fable 5.1 тоже получила 0,96, но потратила 288 секунд и $1.79.

Неожиданно сильный результат показали недорогие модели через OpenRouter. DeepSeek V4.1 Flash набрала 1,00 за 112 секунд, а прогон обошёлся всего в $0.008 — примерно в 36 раз дешевле Opus. Такой же максимальный результат получили Xiaomi MiMo V2.6 Pro за $0.06, Tencent HY4 Preview за $0.17 и Qwen3.8 Max Prime за $0.73. При этом более крупная и дорогая DeepSeek V4 Pro получила лишь 0,47. В этом эксперименте размер модели и стоимость запроса явно не гарантировали качество решения.

С локальными моделями всё оказалось сложнее. На MacBook Pro с чипом M5 и 32 ГБ памяти Gemma 4 12B в одном из прогонов набрала 0,21. Она устранила основную ошибку, но не разобралась с комиссиями, часовыми поясами и форматом времени. Qwen3 Coder 30B A3B в первом прогоне получила ноль: уверенно отчиталась об исправлении, хотя лишь заменила конвертер и сохранила неправильный пересчёт. Другая модель, Qwen3.8 27B, за 20 минут вообще не успела внести изменения.

На игровом ноутбуке с RTX 5080 автор проверил Qwen3.6-35B-A3B с двумя программными оболочками для ИИ-агентов: OpenCode и pi. Они дают модели инструменты для чтения файлов, изменения кода и запуска команд. Разница в объёме начальных инструкций оказалась существенной: OpenCode отправлял около 15 тысяч токенов, а pi — примерно 2 200. Локальной модели приходилось тратить время на чтение этих инструкций перед каждым следующим действием.

После настройки LM Studio оболочка pi завершила задачу за 285 секунд с оценкой 0,31. OpenCode исчерпал 20-минутный лимит и получил 0,14. При этом автору удалось заметно ускорить саму модель: перераспределив вычисления между видеокартой и процессором, он поднял скорость генерации при контексте в 42 тысячи токенов с 9,5 до 94 токенов в секунду. Но ускорение не исправило ошибки рассуждения: агент по-прежнему пропускал важные условия задачи.

Совсем другие результаты появились на NVIDIA DGX Spark. Эта система с 128 ГБ общей памяти позволила запустить значительно более крупные модели. Qwen3.8-Flash-Next со 125 млрд параметров получила 0,96: прошла все 20 скрытых тестов, выполнила семь сложных условий и соблюла ограничения проекта. По качеству она сравнялась с Opus, но использовала весь десятиминутный лимит вместо полутора минут. Модель вместе с процессами vLLM занимала около 106 ГиБ памяти.

Другая локальная модель, ThinkingCap-Qwen3.8-27B, достигла оценки 0,92 за 987 секунд — примерно за 16,5 минуты. NVIDIA Nemotron 3.5 Super со 120 млрд параметров получила 0,68 за 533 секунды. Таким образом, мощное оборудование позволило приблизиться к лучшим облачным решениям, но потребовало серьёзных вычислительных ресурсов и заметно большего времени.

Впрочем, автор предостерегает от поспешных выводов. Это не универсальный рейтинг ИИ-моделей, а проверка на одной задаче на Python. Большинство вариантов запускали всего один-два раза. Даже Gemma при одинаковых настройках показывала результаты от −0,17 до 0,21. По такому эксперименту нельзя уверенно определить победителя среди близких по качеству моделей или обещать тот же результат на большом рабочем проекте.

Главный практический вывод: для подобных задач недорогие облачные модели пока выглядят более доступной альтернативой Codex и Opus, чем локальный запуск. Собственные модели дают другую выгоду — независимость от подписок, ограничений доступа и внезапных изменений облачного сервиса. Но хорошее качество требует подходящего оборудования, тщательной настройки и готовности ждать.

Есть и вопрос безопасности. Некоторые локальные модели в тесте были специально изменены так, чтобы реже отказываться от выполнения запросов. При этом pi по умолчанию может выполнять команды без подтверждения пользователя. Автор рекомендует запускать такую связку в изолированном контейнере: иначе ошибка или опасная команда агента может затронуть рабочую систему.