Что означает выбор уровня значимости alpha = 0.01 в терминах ошибки I рода?
AВероятность не заметить реально существующий эффект (ошибка II рода) при заданной мощности теста равна 0.01.
BВероятность того, что нулевая гипотеза верна при наблюдаемых данных и заданной модели, равна 0.01.
CОжидаемый размер истинного эффекта в тестируемой метрике при текущем дизайне эксперимента равен примерно 1%.
DМаксимально допустимая вероятность отвергнуть верную нулевую гипотезу (ошибка I рода) при многократных повторениях равна 0.01.
Правильный ответ. Уровень значимости
alpha контролирует риск ошибки I рода — то есть вероятность ложноположительного вывода при верной нулевой гипотезе.Разбор
alpha — это заранее выбранный порог для решения об отклонении нулевой гипотезы. Он интерпретируется как верхняя граница вероятности отвергнуть гипотезу, когда она на самом деле верна. Частая путаница — считать alpha вероятностью истинности гипотезы или путать его с вероятностью ошибки II рода. На практике низкое alpha снижает долю ложных срабатываний, но при том же размере выборки увеличивает риск пропустить реальный эффект.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
- При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
- Что обозначает параметр `beta` в проверке гипотез?
- Как связаны мощность теста `power` и вероятность ошибки II рода `beta`?
- Все вопросы по «Основы проверки гипотез» →