В тесте у вас контроль A и варианты B, C, D. Вы хотите интерпретировать сравнения каждого варианта с контролем и сравнение B с C. Что верно про выбор набора гипотез для поправки на множественные сравнения?

AВ набор нужно включить все сравнения, которые вы планируете интерпретировать (A против B, A против C, A против D, B против C)
BВ набор достаточно включить только те сравнения, где p-value < 0.05, остальные не влияют на риск ложных срабатываний
CВ набор включают только сравнения с контролем A, а парные сравнения вариантов между собой не учитываются в общем риске
DПоправка не нужна: все сравнения сделаны в одном эксперименте на одних данных и автоматически согласованы между собой по риску
Правильный ответ. Набор гипотез для множественных сравнений должен совпадать с набором утверждений, которые вы планируете делать по результатам.

Разбор

Поправка нужна не «по факту значимости», а по факту количества проверяемых утверждений. Если вы планируете делать выводы и про B против C, это дополнительная проверка, влияющая на общий риск ложных срабатываний. Поэтому набор гипотез должен включать все сравнения, которые вы хотите трактовать как подтверждённые. Иначе часть отчёта будет выглядеть более уверенно, чем она есть на самом деле.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Множественное тестирование»