У вас нет инфраструктуры для последовательного тестирования, но команда хочет минимизировать риски от подглядывания в промежуточные результаты. Какой подход самый безопасный и простой?

AЗаранее зафиксировать длительность теста и делать один финальный анализ, не останавливая тест по промежуточным p-value
BПоставить alpha = 0.2, чтобы быстрее увидеть значимость и не подглядывать так часто в промежуточные результаты p-value
CСмотреть метрику каждые 2 часа и останавливать тест при первом улучшении lift сверх 1% по основной метрике
DЗапускать тест только на выходных и принимать решение по первому статистически значимому p-value за смену
Правильный ответ. Самый простой способ избежать подглядывания — фиксированная длительность теста и один финальный анализ; ежедневно можно мониторить только страховочные метрики и sanity-checkи.

Разбор

Вы заранее задаёте длительность теста и критерий решения, а затем оцениваете результат один раз в конце. Это сохраняет стандартную интерпретацию p-value и контроль ошибки I рода. Если нужен ежедневный контроль качества, можно мониторить страховочные метрики, но не менять решение по основной метрике до финала.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Секвенциальное тестирование»