В A/B-тесте новой кнопки оплаты часть пользователей получает обновлённый интерфейс, а остальные — старый. Что в такой постановке принято называть группой treatment?
AГруппе показывают новое изменение продукта, эффект которого хотим измерить.
BГруппе показывают старую версию продукта для сравнения с новой.
CГруппе намеренно занижают размер выборки, чтобы снизить риск релиза.
DГруппе перестают записывать метрику, чтобы исключить шум из сравнения.
Правильный ответ.
treatment — это группа, которой показывают тестируемое изменение, и именно её сравнивают с control для оценки эффекта.Разбор
В терминологии экспериментов control получает текущий опыт, а treatment — новую версию или новое правило. Сравнение метрик между ними и даёт оценку эффекта изменения. Группа со старой версией — это control, а не treatment. Намеренное занижение размера выборки или отказ от измерения метрики не определяют сути группы и просто ломают статистику теста.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →