Эксперимент длился 2 дня и пришёлся на выходные, а обычно в выходные конверсия выше. Как правильнее учитывать сезонность при выводах?
AИгнорировать сезонность и считать, что контрольная группа полностью компенсирует разницу между буднями и выходными в выборке
BСравнивать только один день с самым большим трафиком за выходные, потому что так выборка для оценки эффекта будет максимально большой
CЗапустить тест на период, покрывающий полный недельный цикл, или сравнивать одинаковые дни недели между контролем и тритментом
DСчитать, что сезонность относится только к выручке и не затрагивает конверсию, поэтому короткий тест на выходных корректен
Правильный ответ. Сезонность может менять базовый уровень метрик по дням недели и событиям, поэтому дизайн и интерпретация должны это учитывать.
Разбор
Даже при наличии контроля короткий тест на «особые» дни может давать нестабильные выводы, потому что поведение в разные дни различается. Практика — запускать эксперимент на период, покрывающий типичный цикл спроса, например неделю, или анализировать сопоставимые дни недели. Так меньше риск принять решение из-за календарного эффекта, а не из-за реального изменения продукта.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →