Команда одновременно запускает два A/B-теста: новая главная страница и новый алгоритм рекомендаций. Оба теста влияют на одну метрику — конверсию в покупку. Как минимизировать риск неверных выводов?
AЗапускать тесты строго последовательно, потому что параллельные тесты всегда дают некорректные результаты
BИспользовать ортогональное разбиение трафика и проверять наличие эффекта взаимодействия между тестами
CДелить трафик пополам и отдавать каждому тесту свою половину без пересечений
DЗапускать оба теста на одних и тех же пользователях и считать результаты полностью независимыми
Правильный ответ. При параллельных тестах на одну метрику нужно ортогональное разбиение и проверка взаимодействия.
Разбор
Ортогональное разбиение означает, что назначение пользователя в группу одного теста не зависит от его группы в другом тесте. Это позволяет запускать тесты параллельно. Но если изменения взаимодействуют (новая страница + новые рекомендации усиливают друг друга), эффект каждого теста по отдельности будет неточным. Нужно проверять наличие взаимодействия через анализ четырёх комбинаций групп.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →