В эксперименте у вас 1 основная метрика и 3 защитных метрики, а также 10 сегментных разрезов. Какой подход к принятию решения наиболее корректен с точки зрения множественных проверок?

AОбъявлять успех при p-value < 0.05 хотя бы по одной из метрик в любом сегменте: число проверок не корректируется заранее
BЗаранее зафиксировать правило: основной эффект отдельно, защитные метрики как ограничения, сегменты исследовательские либо с поправкой
CВыбирать сегмент с лучшим p-value и считать его основной аудиторией эксперимента, остальные результаты в отчёт не включать
DПрименять поправку Bonferroni только к метрикам, которые оказались незначимыми, чтобы вытянуть результат и улучшить картину
Правильный ответ. Нужно заранее заданное правило принятия решения: что первично, что ограничения и как трактуются сегменты при множественных сравнениях.

Разбор

Структура решения с одной основной метрикой и защитными ограничениями называется decision rule: основная проверяется на заявленном уровне, защитные используются как guard-условия (не должны ухудшиться значимо), сегментные разрезы либо помечаются исследовательскими и подтверждаются отдельно, либо корректируются на множественность. Это исключает рассуждения «хоть одна метрика где-то значима» и подбор сегментов постфактум. Применять поправку только к незначимым метрикам — это инвертировать логику и систематически завышать число находок.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать статистику в браузере

Ещё вопросы по теме «Множественные сравнения»