Авито поделился опытом использования split-тестирования для оценки эффективности алгоритмов платного продвижения объявлений, заменив им традиционные A/B-тесты. Оказалось, что классические A/B-методы часто искажают результаты из-за специфики рекламных аукционов, динамики ставок, бюджетных ограничений и конкурентной среды — объявление может вообще не попасть в обе тестовые группы, а распределение бюджета и конкуренция сильно влияют на выводы.

• Split-тесты позволяют тестировать новые аукционные механики (например, сравнение аукциона первой цены и VCG) на одном и том же объявлении: бюджет и трафик кампании делятся между разными алгоритмами, исключая влияние внешних факторов.
• Преимущества split-подхода: минимизация случайного шума, корректное сравнение эффективности, точность данных. Метод применим как к отдельным городам, так и к отдельным категориям, а результат отражает реальное влияние алгоритма на аукцион.
• Авито отмечает, что уже сейчас split-тесты дают более «чистую» картину по сравнению с классическими A/B, хотя накопление статистики и финальный анализ ещё впереди.
• Статья будет полезна дата-сайентистам, продактам и разработчикам рекламных решений, ищущим корректные методы тестирования алгоритмов в сложных рекламных экосистемах.