Команда небольших ИИ-агентов обошла мощные системы: что показал эксперимент

Сегодня большинство систем ИИ-агентов устроены примерно одинаково: одна компания создаёт помощников, настраивает их инструменты и управляет их взаимодействием. Так работают решения OpenAI, Anthropic и Google. Подход удобен для разработки, но у него есть недостаток: каждый участник рынка вынужден самостоятельно создавать весь набор возможностей, от поиска информации до работы с документами и программным кодом.

Авторы исследования предлагают альтернативу — MDA (Multi-Developer Agentic System), систему, в которой сотрудничают агенты независимых разработчиков. Представьте небольшую компанию, создавшую отличного помощника для покупок. Ей больше не нужно учить его программировать или анализировать документы, чтобы конкурировать с крупными разработчиками ИИ. Достаточно предложить свою специализацию общей системе, которая сможет обратиться к другим исполнителям за недостающими навыками.

Главное здесь — умение разделить сложную задачу. Обычный маршрутизатор выбирает одного агента, который должен выполнить весь запрос целиком. MDA действует иначе: разбивает запрос на части, для каждой находит подходящего специалиста и собирает результаты в общий ответ. Один агент может хорошо искать информацию, другой — обрабатывать документы, третий — писать код. При этом они не обязаны принадлежать одной компании.

Исследователи проверили идею в эксперименте. Настоящего сообщества независимых разработчиков пока не создавали: вместо людей специальные ИИ-системы автоматически собирали и совершенствовали агентов с разными возможностями и ограниченными бюджетами. Для испытаний использовали два набора заданий. GAIA проверяет широкий круг навыков, включая поиск, работу с изображениями и документами. SealQA сосредоточен на веб-поиске. Авторы сравнивали точность ответов, стоимость обращений к моделям и расходы на координацию агентов.

На GAIA медианный результат отдельной системы составил 21%, а лучший одиночный агент справился с 35% заданий. MDA превысила 70%. Даже лучшая многоагентная система, созданная одним разработчиком, достигла лишь 67%, причём обошлась в $29 — более чем вдвое дороже MDA. Получается, что объединение независимых специалистов в этом эксперименте оказалось эффективнее, чем попытка построить одну универсальную систему.

Особенно интересными оказались результаты агентов среднего уровня. Когда исследователи исключили самые мощные модели, MDA всё равно выполнила 67% заданий при стоимости $9. Лучшая отдельная система сопоставимого уровня показала 60% за $8. При распределении отдельных задач MDA выбирала агентов среднего уровня в 56% случаев, тогда как система, назначавшая одного исполнителя на весь запрос, — только в 33%. Специализация позволила чаще использовать более доступные модели без потери общего качества.

Правда, мало собрать хороших агентов — нужно ещё правильно выбирать исполнителей. Разработчики могут преувеличивать возможности своих решений, поэтому ориентироваться только на описания нельзя. В исследовании маршрутизатор постепенно учился на результатах выполненных заданий. Когда его заменили вариантом без такого обучения, точность снизилась до 61% — на 9,1 процентного пункта.

Ещё один эксперимент показал, почему слабый агент может усилить команду. К системе, работавшей с заданиями SealQA, добавили специалиста для другого типа задач. После этого результат на GAIA вырос с 40,4% до 53,2%, хотя самостоятельно новый агент справлялся лишь с 19,1% заданий. Его ценность заключалась не в универсальности, а в способности закрыть пробел в возможностях остальных участников.

Впрочем, объединение агентов полезно не всегда. На узких заданиях, особенно связанных только с веб-поиском, MDA уступала системе, которая выбирает одного исполнителя, и обходилась дороже. Каждый дополнительный этап — разделение запроса, передача информации и объединение ответов — требует ресурсов и создаёт риск ошибок. Если задача достаточно проста, эти расходы могут свести на нет преимущества специализации.

Остаются и вопросы, на которые эксперимент не отвечает. Как независимым разработчикам делить доходы и оплачивать общую инфраструктуру? Как оценивать вклад каждого агента? И как защищать конфиденциальные данные, если часть работы выполняют сторонние системы? Авторы отдельно отмечают риск недобросовестных участников: один вредоносный агент не должен ставить под угрозу всю цепочку выполнения задачи.

Исследование предлагает посмотреть на развитие ИИ с другой стороны. Возможно, прогресс зависит не только от создания всё более мощных моделей, но и от способности небольших специализированных систем работать вместе. Эксперимент показывает потенциал такого подхода, однако его ещё предстоит проверить в реальной среде, где независимым разработчикам придётся договариваться о правилах сотрудничества, оплате и безопасности.