Вы тестируете новый алгоритм рекомендаций, метрика — средний чек. Какая формулировка нулевой гипотезы H0 наиболее стандартна?
A
H0: новый алгоритм рекомендаций обязан улучшить средний чек хотя бы на одну условную единицу для всех пользователей.B
H0: средний чек в тестовой группе равен среднему чеку в контрольной группе на интервале наблюдения эксперимента.C
H0: средний чек в тестовой группе вырастет ровно на 5% относительно контрольной группы по итогам всего эксперимента.D
H0: пользователи распределены строго пополам между тестовой и контрольной группами на всём интервале наблюдения эксперимента.Правильный ответ. Стандартная
H0 в A/B test — отсутствие эффекта, то есть равенство метрик между control и treatment.Разбор
Нулевая гипотеза обычно говорит, что изменение не влияет на метрику, и разница равна нулю. Это удобная точка отсчёта для статистической проверки. Альтернативная гипотеза H1 затем описывает, что метрики отличаются или что есть рост, если тест односторонний.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →