Команда раскатила успешный A/B-тест на всех пользователей. Через полгода продакт хочет проверить, сохранился ли долгосрочный эффект. Какой подход позволит это измерить?
AОткатить изменение для всех пользователей и перезапустить A/B-тест через полгода
BСравнить метрики текущей версии с историческими данными до запуска теста
CПровести опрос пользователей через полгода, чтобы узнать их субъективное мнение
DОставить небольшую группу пользователей на старой версии и сравнить её с остальными через полгода
Правильный ответ. Холдаут-группа — небольшая доля пользователей, оставленная на старой версии для измерения долгосрочного эффекта.
Разбор
После раскатки сравнить «до и после» некорректно: изменились сезон, аудитория, другие фичи. Холдаут-группа (обычно 1-5% трафика) остаётся на старой версии на месяцы. Сравнивая её метрики с основной аудиторией, можно измерить кумулятивный долгосрочный эффект. Это единственный надёжный способ, потому что группы существуют в одних и тех же внешних условиях.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →