Что рандомизация НЕ гарантирует в конкретном запуске A/B-теста?
AНазначение варианта, не зависящее от поведения пользователя и его прошлых действий в продукте до старта эксперимента
BИдеально одинаковые доли по каждому признаку (например, страна, устройство) в каждой группе в любом конкретном запуске
CВозможность оценивать причинный эффект через сравнение групп при достаточно большой выборке и аккуратной интерпретации
DОтсутствие систематического смещения в назначении контрольной и тестовой групп при долгосрочном повторении экспериментов
Правильный ответ. Рандомизация не обещает идеального баланса по всем признакам в каждом конкретном эксперименте.
Разбор
Случайное распределение делает группы сопоставимыми в среднем, но в отдельном запуске возможны небольшие перекосы по признакам из-за случайности. Это нормально и часто уменьшается при росте выборки. Важно проводить проверки согласованности групп, но не пытаться «ручным образом» исправлять рандомизацию постфактум через выбрасывание пользователей.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →