Два эксперимента имеют одинаковый размер выборки и одинаковый средний эффект, но во втором дисперсия метрики выше. Что обычно происходит с мощностью во втором эксперименте?
AМощность увеличивается: чем больше шум, тем больше информации в выборке для оценки эффекта
BМощность не меняется: фактический эффект остался прежним и выборка такого же размера
CМощность уменьшается: сигнал труднее отличить от шума при той же выборке
DМощность становится равной уровню значимости и перестаёт зависеть от величины эффекта
Правильный ответ. Большая дисперсия повышает шум и обычно снижает мощность теста при фиксированной выборке.
Разбор
При более высокой дисперсии стандартная ошибка оценки эффекта больше, и тесту сложнее отличить реальный эффект от случайных колебаний. Это повышает вероятность ошибки II рода и снижает мощность. Практический вывод — иногда полезнее стабилизировать метрику или изменить дизайн, чем просто ждать значимости.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
- При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
- Что означает выбор уровня значимости `alpha` = 0.01 в терминах ошибки I рода?
- Что обозначает параметр `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →