• Для оценки эффекта акции предлагается сравнивать целевую группу не только с её показателями до акции, но и с контрольной группой, чтобы отделить влияние самой акции от сезонности.
• В простом варианте Diff-in-Diff сравнивается динамика целевой группы и всех пользователей на like-for-like-аудитории, то есть среди тех, кто был активен и до акции, и в её период.
• В приведённом примере средний чек участников акции вырос с 2500 до 3000 рублей, у всех пользователей — с 1350 до 1500 рублей, а эффект акции оценён в 9% и 247.7 рубля инкремента.
• Тематический Diff-in-Diff предлагает собирать контроль из концептуально похожих клиентов, например из покупателей другой выпечки в тех же магазинах или городах.
• Propensity score matching строит сопоставимую контрольную группу по поведенческим признакам, таким как LTV, средний чек, активные дни и срок с регистрации, а затем рекомендует всё равно считать эффект через Diff-in-Diff.

Почему это важно: В тексте показано, что сравнение только по схеме до и после легко искажает результат, если акция проходила на фоне сезонных колебаний. Поэтому ключевой вопрос здесь — без заранее выделенного контроля восстановить базовый сценарий, который мог бы быть без акции. На практике это важно для любой оценки кампаний, где группы не были сформированы случайным образом и эффект нельзя считать напрямую.

На что обратить внимание: У простого Diff-in-Diff ограничением названа возможная непохожесть участников акции и всей пользовательской базы, из-за чего естественная динамика групп может расходиться. У Propensity score matching отдельно описаны зависимость от выбранных признаков, влияние географии и сезонности, а также риск смещения, если реальная база для контроля меньше нужного объёма. Следующий аналитический шаг в такой логике обычно связан с проверкой сопоставимости групп, калибровки score и тем, насколько параметрозависимой оказалась контрольная группа.