Вы тестируете 200 гипотез по разным фичам и хотите контролировать FDR (долю ложных открытий среди отвергнутых гипотез), не теряя мощности так сильно, как при Bonferroni. Какой метод наиболее уместен?

AПоправка Bonferroni: контролирует вероятность хотя бы одной ошибки I рода и обычно слишком строга при 200 тестах
BПоправка Holm: контролирует вероятность ошибки I рода в семействе, но не контролирует долю ложных открытий
CНе делать поправку: одиночный p-value сам по себе уже учитывает множественность тестирования по 200 фичам
DПроцедура Benjamini–Hochberg: контролирует долю ложных открытий и сохраняет больше мощности при многих тестах
Правильный ответ. Для контроля доли ложных открытий в больших наборах тестов часто используют процедуру Benjamini–Hochberg.

Разбор

Поправки Bonferroni и Holm контролируют вероятность хотя бы одной ошибки I рода и поэтому обычно слишком консервативны при сотнях проверок. Если задача похожа на скрининг и важно держать долю ложных находок среди отвергнутых гипотез в пределах, логичнее контролировать FDR, и для этого подходит процедура Benjamini–Hochberg. Утверждение, что p-value сам учитывает множественность, неверно: каждый отдельный p-value рассчитан для одной проверки.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать статистику в браузере

Ещё вопросы по теме «Множественные сравнения»