В A/B тесте для конверсии вы получили p-value = 0.03 при проверке H0 об отсутствии разницы между группами. Какая интерпретация корректна?
AВероятность получить такие же или более экстремальные данные при условии истинности
H0BАпостериорная вероятность того, что
H0 верна и реальной разницы между группами нетCВероятность того, что вариант B действительно лучше варианта A по целевой метрике
DРазмер наблюдаемого эффекта между группами, выраженный в процентах от базы сравнения
Правильный ответ.
p-value оценивает совместимость данных с H0, а не вероятность истинности самой H0.Разбор
p-value вычисляется при предположении, что H0 верна, и показывает, насколько необычны наблюдаемые данные в этом случае. Он не отвечает на вопрос, насколько вероятна сама H0, и не говорит, насколько велик эффект. Для решения обычно сравнивают p-value с заранее выбранным уровнем значимости alpha.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Вы заранее выбрали `alpha` 0.05. В результате теста получили `p-value` 0.06. Какой вывод корректнее всего?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →