Перед анализом результата вы проверяете страховочные метрики, которые не должны меняться между группами. Какая метрика чаще всего работает как страховочная в онлайн A/B тесте?
AКонверсия в покупку как основная бизнес-метрика и итоговый показатель эксперимента
BДоля пользователей, попавших в группы A и B по сравнению с плановым соотношением
CВыручка на пользователя как агрегат денежной активности по сегментам в эксперименте
DСредний чек как агрегат поведения платящих в каждой группе эксперимента
Правильный ответ. Страховочная метрика должна оставаться одинаковой между группами, потому что эксперимент не должен на неё влиять.
Разбор
Проверка фактической доли распределения по группам помогает убедиться, что рандомизация и пайплайн назначения работают корректно. Если фактическое соотношение сильно отличается от планового, остальные выводы становятся подозрительными. Страховочные метрики обычно проверяют до интерпретации основной и вторичных метрик.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →