В эксперименте часть пользователей увидела и контрольный, и тестовый вариант (например, на разных устройствах). Какое последствие наиболее вероятно?
AЭффект интерпретируется сложнее, оценка размывается из-за смешивания опыта между вариантами
BНаоборот, эксперимент становится точнее: один пользователь сравнивает оба варианта сразу
CЭто значит, что рандомизация прошла идеально и результатам теста можно доверять
DЭто означает, что нулевая гипотеза верна и наблюдаемая разница объясняется случайностью
Правильный ответ. Если пользователи получают оба варианта, нарушается чистота сравнения контроля и теста и падает интерпретируемость эффекта.
Разбор
Смешивание вариантов у одного пользователя создаёт контаминацию: опыт перестаёт быть строго разделён на две альтернативы. Это может уменьшить наблюдаемый размер эффекта или даже изменить его направление. Поэтому обычно закрепляют вариант за пользователем и следят за тем, чтобы показы были консистентны между устройствами. Утверждения «так точнее», «рандомизация идеальна» и «значит, нулевая верна» — типичные ошибки.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →