Статья на Хабре развенчивает 10 ключевых мифов об A/B‑тестировании, которые всё ещё мешают технологическим компаниям принимать верные решения на основе данных. Авторы — команда платформы экспериментов Laba в Яндекс Go — детально разбирают ошибки, связанные с агрегацией данных, выбором статистических тестов, метриками и планированием экспериментов.

• Агрегация данных: Использование сырых событийных данных и неправильная агрегация метрик-отношений искажают выводы. Рекомендуется всегда агрегировать данные на уровне пользователя, а для сложных метрик применять методы бакетирования, линеаризации и дельта-метод.
• Статистические тесты: Распространены ошибки в понимании применения t-теста (достаточно большой выборки, не обязательно нормального распределения), неправильно используется U-критерий Манна-Уитни (он сравнивает распределения, а не средние/медианы), а удаление выбросов часто приводит к смещению. Для корректного анализа выбросов нужно использовать общий порог или ограничение значений.
• Мифы о метриках и анализе: Важно оценивать доверительные интервалы даже для незначимых метрик, не перегружать анализ лишними метриками и контролировать FWER. Бутстрап не «чинит» малые выборки — при недостатке данных лучше пересмотреть дизайн эксперимента или использовать байесовские подходы.
• Планирование экспериментов: Критична оценка статистической мощности (особенно при малых ожидаемых эффектах). Преждевременное завершение эксперимента при «достижении значимости» повышает риск ложных выводов (p-hacking).

Статья рекомендует чётко планировать эксперименты, грамотно выбирать метрики, корректно обрабатывать выбросы и агрегацию, и помнить, что даже «неочевидные» мифы могут подорвать надёжность A/B‑тестов.

Рекомендована дополнительная литература для углубления — от работ Bartlett, Cohen и Kohavi до практических гайдов Spotify и ACM.