Перед запуском A/B-теста аналитик предлагает неделю собирать данные по обеим группам без включения изменения. Зачем нужен этот пре-экспериментальный период?
AПроверить, что новая функциональность технически работает без ошибок и багов
BНакопить достаточно пользователей в каждой группе для статистической значимости
CУбедиться, что метрики обеих групп были одинаковыми до начала воздействия, и зафиксировать базовый уровень
DДать пользователям привыкнуть к интерфейсу перед тем, как показывать им изменения
Правильный ответ. Пре-экспериментальный период подтверждает, что группы были сбалансированы до начала теста.
Разбор
Сбор данных до включения воздействия решает две задачи. Во-первых, если метрики групп уже различаются до теста — значит, рандомизация нарушена и результатам нельзя доверять. Во-вторых, зная базовый уровень метрик, можно использовать методы повышения чувствительности (CUPED), которые уменьшают дисперсию и позволяют быстрее обнаружить эффект.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →