Вы тестируете 1 контроль и 12 вариантов креатива; цель — отобрать несколько перспективных кандидатов для следующего подтверждающего теста. Какой подход к множественным сравнениям чаще соответствует этой цели?

AПрименить жёсткий Bonferroni к 12 сравнениям, чтобы среди отобранных кандидатов почти не оказалось ложных находок
BКонтролировать FDR через процедуру Benjamini–Hochberg, чтобы ограничить ожидаемую долю ложных открытий среди кандидатов
CПолностью игнорировать поправку на множественные сравнения, чтобы не терять мощность при отборе перспективных вариантов
DПовысить alpha до 0.2 на этапе отбора, чтобы пройти проверку могло больше вариантов и список кандидатов стал шире
Правильный ответ. Для отбора кандидатов в поисковой фазе часто используют контроль FDR, чтобы балансировать находки и долю ложных открытий.

Разбор

В поисковой задаче обычно важнее не пропустить перспективные варианты, чем полностью исключить одну ложную находку. Контроль FDR даёт больше мощности при большом числе сравнений и задаёт понятный контроль качества короткого списка. Затем отобранные варианты подтверждают отдельным экспериментом или более строгой процедурой типа Bonferroni на финальной фазе.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Множественное тестирование»