Вы заранее выбрали alpha 0.05. В результате теста получили p-value 0.06. Какой вывод корректнее всего?

AЭффекта здесь нет: p-value больше alpha, и H0 можно считать полностью подтверждённой гипотезой.
BНедостаточно оснований отклонить H0 на уровне alpha 0.05, но это не доказывает отсутствие эффекта.
CВариант B значимо хуже: раз p-value больше alpha, есть основание для вывода о статистическом ухудшении.
DРезультат недействителен: тест надо перезапустить на удвоенной выборке n, иначе любые выводы по p-value некорректны.
Правильный ответ. p-value больше alpha означает, что данных не хватает, чтобы отвергнуть H0, но это не равно «эффекта нет».

Разбор

p-value 0.06 при alpha 0.05 говорит лишь о том, что наблюдаемые данные не выглядят достаточно редкими при H0. Это не доказательство того, что эффекта нет: возможно, эксперимент недомощный или эффект просто меньше, чем способен поймать тест. Делать вывод «B хуже» по большому p-value неверно: тест не подтверждает направление эффекта в сторону ухудшения. И сам по себе p-value чуть выше границы — не повод считать тест «недействительным» и автоматически удваивать выборку.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»