Эксперимент попал на распродажу, которая сильно меняет поведение. Какое утверждение наиболее корректно про сезонность в этом случае?
AСезонность не влияет на результат, если тест идёт несколько циклов продаж: эффект распродажи усредняется и не искажает оценку
BСезонность опасна: результат может отражать влияние распродажи, поэтому важен параллельный контроль в те же даты и аккуратная интерпретация переносимости эффекта
CСезонность совпадает с Sample Ratio Mismatch по сути: при сезонности группы автоматически делятся неравномерно по составу пользователей в выборке
DЛучше убрать контрольную группу во время распродажи, чтобы все пользователи попали в тестовую и быстрее набралась статистическая мощность теста
Правильный ответ. Сезонность и внешние события могут менять базовый уровень метрик, поэтому важны параллельная контрольная группа и осторожная интерпретация.
Разбор
Даже при корректном A/B-тесте распродажа может менять состав трафика и мотивацию пользователей, поэтому эффект фичи может проявляться иначе, чем в обычные дни. Параллельная контрольная группа помогает сравнивать варианты в одинаковых условиях. Но при сильной сезонности важно проверить, как эффект выглядит по дням и сегментам, и оценить, переносится ли он на обычный период перед раскаткой.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →