В наборе из 8 проверок одна метрика имеет сырой p-value=0.03, но после поправки Holm её скорректированный p-value=0.12. Как корректнее сформулировать вывод?
AСчитать результат значимым, потому что сырой
p-value=0.03 меньше 0.05, а поправка Holm лишь ужесточает требования и здесь её можно игнорироватьBНе заявлять значимость при контроле
FWER поправкой Holm: можно упомянуть как сигнал, но честно указать, что после поправки p-value=0.12 — незначимоCСчитать результат значимым, потому что метод
Holm всегда повышает мощность по сравнению с Bonferroni и сохраняет уровень alpha=0.05 для каждой проверкиDЗаменить метод на
Benjamini–Hochberg уже после просмотра результата и объявить значимость, потому что FDR-поправки обычно мягче, чем FWERПравильный ответ. Если вы контролируете
FWER поправкой Holm, решение принимают по скорректированным p-value, а не по сырым.Разбор
Сырой p-value не учитывает, что вы делали несколько проверок, а поправка Holm как раз корректирует это для контроля FWER. Если скорректированный p-value больше порога, то с точки зрения заранее выбранного правила значимость не подтверждена. Типичная ошибка — показывать только сырой p-value и умалчивать про множественность, что делает отчёт некорректным.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →