• Оптимизация промптов описана как поиск в дискретном пространстве, где целевая функция включает точность, стоимость, соответствие формату (JSON) и латентность.
• Ключевые инженерные барьеры: отсутствие градиентов (API как «чёрный ящик»), недоступность или низкая полезность logprobs, комбинаторный рост вариантов текста.
• Подходы сгруппированы в три класса: эволюционные, программные и генеративно-эвристические.
• В эволюционных примерах: MetaPrompt и TextGrad используют цикл Generate → Critique → Refine; HRPO (arXiv:2305.17126) предлагает кластеризацию ошибок и «системные» правки.
• GEPA описана как эволюция по Парето-фронтиру и заявлена как превосходящая RL-методы при 35× меньшем числе вызовов API.
• В программных и эвристических примерах: DSPy (arXiv:2310.03714) с оптимизаторами MIPRO/MIPROv2; OPRO (arXiv:2309.03409) подбирает следующий промпт по истории «промпт→оценка», APE (arXiv:2211.01910) — loop генерации и отбора по метрике.

Почему это важно: Автор предлагает смотреть на промпт как на объект оптимизации в условиях чёрного ящика, где важны не только точность, но и стоимость токенов, формат и задержка. промпт — параметр модели, поэтому подходы с датасетом и метриками проще переносить и сравнивать между задачами. В тексте отдельно подчёркнута проблема нестабильности между версиями моделей.

На что обратить внимание: В обзоре отмечено, что часть API скрывает или обесценивает logprobs, поэтому некоторые старые методы оказываются менее применимыми. Также подчеркнут риск «хаков» при подборе промптов без валидации на отложенной выборке и дрейф при смене модели (пример gpt-4-o → gpt-5.1). Отдельно упомянут эффект потери инструкций в длинном контексте и то, что улучшение через AI Studio без метрик остаётся перефразированием.