Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
AОпределить базовую конверсию продукта для расчёта размера выборки будущих тестов
BНайти сегменты пользователей, которые реагируют на изменения сильнее остальных
CПроверить корректность системы сплитования: при одинаковом воздействии метрики групп не должны отличаться
DОбучить модель машинного обучения на данных без изменений для последующего прогнозирования
Правильный ответ. AA-тест проверяет, что система сплитования работает корректно и не вносит систематических различий между группами.
Разбор
В AA-тесте обе группы получают одинаковое воздействие. Если метрики статистически значимо отличаются — значит, в системе рандомизации есть баг, данные собираются с ошибкой или есть систематическое смещение. Обнаружить такую проблему до запуска реального теста критически важно, иначе все результаты будут недостоверными.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →