В одном эксперименте вы смотрите 25 продуктовых метрик и хотите составить список метрик, которые стоит изучить глубже, понимая что часть сигналов может оказаться ложной. Какую поправку чаще выбирают и почему?

AБез поправки: продуктовые метрики коррелированы, и любая коррекция избыточна на этапе отбора кандидатов для дальнейшей проверки
BПоправка Bonferroni: контролирует FWER и подходит для финальной проверки, но при 25 метриках может скрыть полезные сигналы
CПоправка Holm: контролирует FWER пошагово и при большом числе метрик в поисковой фазе обычно даёт мало находок
DПоправка Benjamini–Hochberg: контролирует FDR и сохраняет мощность при большом числе метрик в поисковой фазе
Правильный ответ. При большом числе метрик Benjamini–Hochberg часто выбирают для контроля FDR, чтобы не потерять слишком много мощности.

Разбор

Если метрик много, контроль FWER может стать слишком строгим и скрыть полезные сигналы. Подход с контролем FDR лучше соответствует задаче «найти кандидатов для дальнейшей проверки». Но даже после поправки на FDR корректнее считать результаты гипотезами для подтверждения, а не финальными истинами.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Множественное тестирование»