• В качестве типичных проблем A/B-тестов перечислены длительность набора выборки, технический долг и упущенная выгода при удержании части пользователей на старой версии.
• Описан подход «выкатить фичу на всех» и оценивать эффект через контрфактуал, построенный предиктивной моделью на исторических данных.
• В инструментах для контрфактуала упомянуты CausalImpact (Google), Prophet и ARIMA; пример иллюстрируется разметкой периодов pre/post.
• Предложен метод синтетического контроля: «сборная» из других рынков с весами, чтобы повторять прошлую динамику целевого рынка (пример с Казахстаном).
• Разобран rollout через Feature Toggles/Feature Flags как риск-менеджмент: canary (1–5%), early adopters/internal (10–20%), затем полный rollout (100%) при отсутствии деградации за 24–48 часов.

Почему это важно: Альтернативы A/B-тестам помогают оценивать эффект, когда деление трафика 50/50 не подходит по времени или по стоимости. В тексте акцент сделан на том, что метрика сравнивается не с контрольной группой, а с прогнозом без изменений, построенным на истории и независимых контрольных рядах. Это переводит обсуждение из «p-value как цели» в выбор метода под ограничения и риск продукта.

На что обратить внимание: В описании контрфактуального подхода важна оговорка про контрольные показатели X, которые не зависят от фичи, иначе сравнение теряет смысл. Для синтетического контроля ключевым становится качество подбора «доноров» и точность совпадения кривых в прошлом, потому что на этом строится интерпретация эффекта после запуска. В блоке про rollout подчёркнуто, что это скорее управление риском (стабильность, ошибки, крэш-рейт), чем точное измерение бизнес-эффекта.