Вы планировали сплит 50/50 между контролем и вариантом, но стабильно видите 62/38 по пользователям. Что это наиболее вероятно и что делать?
AПохоже на
SRM: сначала проверить механизм назначения варианта и сбор данных, затем интерпретироватьBНормальная ситуация: один из вариантов оказался более популярным среди пользователей в этот период
CПризнак сезонности и недельных колебаний: подождать прохождения хотя бы одних выходных и пересчитать
DНеверный выбор основной метрики теста: заменить её до повторного запуска эксперимента
Правильный ответ. Сильный перекос сплита часто указывает на
SRM и требует проверки пайплайна до анализа метрик.Разбор
SRM (sample ratio mismatch) обычно означает проблему с рандомизацией, таргетингом или логированием. При SRM группы могут стать несопоставимыми, и эффект по основной метрике может быть неверным. Правильный шаг — проверить механизм назначения, фильтры, дедупликацию пользователей и только затем продолжать анализ.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →