Система мониторинга каждый день проверяет 50 метрик и отправляет алерт при p-value < 0.05. Что поможет снизить число ложных алертов из-за множественных проверок, сохранив чувствительность?
AПоднять порог до
alpha = 0.2, чтобы алерты приходили чаще и команда быстрее реагировала на любые отклонения значенийBОставить всё как есть: если
p-value < 0.05, алерт всегда корректен и нет смысла учитывать общее количество ежедневных проверокCКонтролировать
FDR для дневного набора проверок, например через Benjamini–Hochberg, и явно фиксировать семейство тестовDОтключить все метрики кроме одной самой важной, чтобы избежать множественных сравнений и не настраивать поправки на семейство
Правильный ответ. При большом числе ежедневных проверок полезно контролировать множественность, например через
FDR (долю ложных открытий).Разбор
Когда вы проверяете десятки метрик, шанс случайного p-value < 0.05 в любой из них заметно возрастает, и алерты становятся шумными. Контроль FDR помогает держать долю ложных срабатываний среди поднятых алертов на приемлемом уровне. Типичная ошибка — интерпретировать каждое срабатывание как отдельное событие, забывая, что вы запускаете сразу много тестов ежедневно. Поднятие порога или отключение метрик решает симптом, а не причину.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →