Статья от автора курса ААА (Авито) — практический разбор механики A/B-тестов: от формулировки гипотезы и выбора критерия до расчёта MDE и грамотной визуализации эффектов. На кейсе с выручкой показано, как «плохой» сетап (сплит 10/10%, 1 неделя, метрика revenue) даёт серый результат: p≈34%, относительный MDE ≈15.8–18.7% — тест бессмысленен.

• Как чинить чувствительность: прогноз MDE на AA-тесте по истории; переход к сплиту 50/50 (~×2.2 к чувствительности), удлинение до 7 недель (~×1.4), использование прокси-метрики promotion_listers (до ×3). Итог: сокращение MDE ≈×9–10, новый MDE ~1.7–1.8%.
• Гипотезы и критерии: когда уместны односторонние vs двусторонние тесты; FPR 2.5%/5%; сравнение средних. Показан относительный t-test (дельта-метод) с доверительными интервалами в процентах.
• Результаты «правильного» теста: для promotion_listers эффект ~+1.8% ±1.2% (two-sided p≈1.2%, one-sided p≈0.6%) — зелёный прокрас.
• Контр-метрики и каннибализация: стабильность revenue/listers, рост promotion_listings; учёт other_revenue (25% выручки) даёт суммарный эффект ≈+0.7 п.п. (CI −0.4…+2.0 п.п.).
• Пайплайн: сетап → проведение → анализ; выбор метрики/прокси, длительности и ожидаемого эффекта; визуализация через относительные CI вместо «сухого» p-value.