Материал описывает разработку одиночным инженером автоматизированной системы A/B-экспериментирования заголовков и обложек для медиа. Подход разделяет контент на «вечнозелёный» (долгий эффект, стандартные A/B) и новости (короткий цикл, Multi-armed Bandits для быстрой оптимизации). Цели: рост CTR и вовлечённости, снижение редакционной субъективности, поддержка продуктовых метрик без кликбейта.

Воркфлоу: выбор типа эксперимента, настройка генеральной метрики или составной (весовые коэффициенты), генерация вариантов через LLM (возврат JSON с конфигом), постановка в очередь. Аудитория делится на три когорты: holdout для классического A/B и проверки корректности бандита, основная «бандитская» с динамическим перераспределением трафика, а также «заблокированная» для контроля interference. Бакетирование — на уровне пользователя; дополнительно учитываются риски кэширования (CDN) и ботов.

Аналитика: первичные проверки z-тестом, t-тестом и биномиальным тестом; при условиях — Mann-Whitney и Welch's t-test. Оценка стабильности — через бутстрэп с отбором 10–30% выборки. Решение принимается LLM (по системному промпту) или редактором через Telegram-бот; далее — post-hoc анализ (retention/rolling, финметрики) и очищение бакетов. Среди альтернатив упомянуты Optimizely, PostHog, Headline Studio, Nelio A/B Testing и интеграции с Google Analytics; однако требования по гибкости и стеку (FastAPI, PostgreSQL) обосновывают кастомный движок.