Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
A
H0: конверсия в тестовой группе равна конверсии в контрольной, H1: конверсии в тестовой и контрольной различаютсяB
H0: конверсия в тестовой группе выше контрольной, H1: конверсия в обеих группах одинакова при двустороннем тестеC
H0: конверсия в тестовой группе всегда ниже контрольной, H1: конверсия в тестовой всегда строго выше контрольнойD
H0: конверсия выросла на 10% относительно базы, H1: конверсия выросла ровно на 5% относительно той же базыПравильный ответ. Обычно
H0 формулируют как отсутствие эффекта, а H1 — как наличие отличий.Разбор
В двустороннем тесте нас интересует любое изменение метрики, а не только рост или падение. Поэтому стандартно H0 — равенство метрик в контрольной и тестовой группах. Альтернатива H1 — метрики различаются, то есть эффект не равен нулю. Формулировки про «всегда выше» или конкретные численные эффекты не описывают пару гипотез корректно.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →