Эксперимент показал сильный рост метрики в выходные, но в будние дни эффект почти исчезает. Какой вывод и следующий шаг наиболее корректны?
AСчитать, что фича работает преимущественно по выходным, и выкатывать её на всю аудиторию без проверки устойчивости эффекта
BУчесть сезонность и возможный эффект новизны: дождаться полного цикла (например, недели) и проверить устойчивость по сегментам
CСчитать различие между будними и выходными признаком поломки метрики и полностью отказаться от анализа результатов эксперимента
DСчитать наблюдаемое различие следствием перекоса в распределении групп и переопределить дизайн теста после факта без проверок
Правильный ответ. Краткосрочные всплески могут быть вызваны сезонностью или эффектом новизны, поэтому важно проверять эффект на полном цикле.
Разбор
Поведение пользователей меняется по дням недели, праздникам и маркетинговым активностям, и это может выглядеть как эффект фичи. Также первый контакт с новинкой может дать временный рост, который не сохраняется. Поэтому корректнее собрать данные минимум на один полный цикл и проверить устойчивость эффекта по времени и сегментам перед решением о раскатке.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →