Вы тестируете новый текст рассылки и измеряете конверсию в покупку за неделю. Что обычно лучше выбрать как единицу рандомизации, чтобы один и тот же пользователь не попадал в разные варианты?
AРандомизировать по просмотру страницы, чтобы получить максимум событий и не уменьшать выборку на старте теста
BРандомизировать по клику, чтобы видеть в группах только заинтересованных пользователей и сделать сравнение более чистым
CРандомизировать по пользователю или аккаунту, чтобы каждый пользователь видел только один вариант рассылки
DНе рандомизировать вообще: сравнить неделю с прошлой и считать разницу эффектом нового текста рассылки
Правильный ответ. Единица рандомизации должна предотвращать попадание одного пользователя сразу в две группы и смешивание вариантов.
Разбор
Если один пользователь увидит и контрольный, и тестовый вариант, эффект может размыться или стать неинтерпретируемым. Для недельной метрики покупки обычно важно закрепить вариант за пользователем или аккаунтом. Так вы снижаете контаминацию и лучше соблюдаете идею сравнения двух альтернативных опытов. Рандомизация по просмотрам или кликам не закрепляет вариант за человеком, а сравнение с прошлой неделей не контролирует сезонность и внешние факторы.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →