Какую проверку разумно сделать до обсуждения эффекта по основной метрике, чтобы быстрее поймать проблемы качества данных и SRM?
AПроверить только финальную метрику и игнорировать всё остальное, чтобы не тратить время на лишние шаги и быстрее принять решение по эксперименту
BСразу удалить пользователей с редкими событиями и нестандартным поведением, чтобы основная метрика стала стабильнее и шум в данных уменьшился
CПроверить баланс групп и базовые инварианты (размеры тестовой и контрольной групп, платформы, страны) и убедиться, что нет
SRMDСмешать тестовую и контрольную группы в одну выборку и пересчитать основную метрику, чтобы быстрее увидеть финальный эффект эксперимента
Правильный ответ. Проверки адекватности и поиск
SRM помогают убедиться, что сравнение тестовой и контрольной групп корректно ещё до интерпретации эффекта.Разбор
Даже хороший эксперимент может быть испорчен ошибкой назначения, фильтрами или логированием. Проверка размеров групп и базового состава по сегментам помогает заметить SRM и перекосы. Если такие проблемы есть, обсуждать эффект по основной метрике бессмысленно, пока не восстановлена валидность данных.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →