Вы провели A/B-тест и не смогли отвергнуть H0. Какая интерпретация наиболее корректна?
AЭто строгое доказательство, что эффекта нет и варианты полностью эквивалентны на всей популяции
BЭто означает, что тестовый вариант точно хуже контрольного на любой подвыборке пользователей
CЭто означает, что альтернативная гипотеза
H1 ложна во всех возможных условиях и сегментахDЭто означает, что данных могло не хватить для обнаружения эффекта, и он всё ещё возможен
Правильный ответ. Неотвержение
H0 не доказывает отсутствие эффекта, а лишь говорит, что данных недостаточно, чтобы показать отличие.Разбор
Результат «не отвергли H0» означает, что наблюдаемые данные совместимы с гипотезой отсутствия эффекта. Это может случиться, если реальный размер эффекта маленький или выборка недостаточна. Поэтому важно заранее определять ожидаемый эффект и интерпретировать результат вместе с практической значимостью.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →