Вы построили 95% доверительные интервалы для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?

AТак можно: доверительный интервал уже учитывает случайность, выбор сегмента ничего не меняет
BТак делать опасно: при выборе из многих сегментов растёт шанс случайной находки и теряется заявленное покрытие
CТак можно при самом большом размере выборки в выбранном сегменте: оценка становится надёжной
DТак можно при положительном точечном эффекте, даже если интервал получился очень широким
Правильный ответ. Выбор «лучшего» сегмента после просмотра многих нарушает частотный смысл доверительного интервала и снижает покрытие.

Разбор

Когда вы смотрите на много сегментов и выбираете один «самый красивый», вы фактически проводите множественный поиск и повышаете шанс случайной находки. Номинальный уровень доверия и заявленное покрытие относятся к заранее заданной процедуре, а не к выбранному постфактум результату. Обычно нужна повторная проверка на новых данных или поправка на множественные сравнения.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать статистику в браузере

Ещё вопросы по теме «Доверительные интервалы»