Как корректнее всего интерпретировать 95% доверительный интервал в частотной статистике?
AС вероятностью 95% истинный эффект лежит внутри этого конкретного построенного интервала на этих данных
BЕсли повторять эксперимент много раз и каждый раз строить 95% доверительный интервал, то примерно 95% таких интервалов будут содержать истинный эффект
C95% наблюдений в эксперименте обязательно попадают в этот интервал, остальные 5% считаются выбросами вне границ
D95% пользователей в тесте имеют индивидуальный эффект, лежащий внутри границ построенного доверительного интервала
Правильный ответ. Частотный 95% доверительный интервал — это свойство процедуры в повторениях, а не вероятность для одного фиксированного интервала.
Разбор
В частотной трактовке параметр фиксирован, а случайны данные и построенный интервал. Поэтому говорить о 95% вероятности для конкретного интервала некорректно в строгом смысле. Правильная интуиция: процедура построения интервала в среднем покрывает истинный эффект в 95% повторов; вероятность относится к процедуре, а не к одному интервалу на конкретной выборке.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →