Что лучше всего описывает правило остановки в контексте последовательного тестирования?

AЗаранее зафиксированный критерий, по которому останавливают тест и принимают решение по H0 с учётом распределения уровня значимости
BПравило, по которому распределяют пользователей между контрольной и тестовой группой во время эксперимента в равных долях
CСпособ оценить ожидаемый прирост метрики без проведения теста, используя только результаты прошлых экспериментов и исторические данные
DРешение остановить тест в любой удобный момент без заранее зафиксированных критериев и без правил интерпретации результата
Правильный ответ. Правильное правило остановки заранее определяет условия завершения теста и сохраняет корректность вывода по H0.

Разбор

Если команда планирует промежуточные просмотры, нужно до запуска зафиксировать частоту промежуточного анализа и условия остановки. Это может быть остановка по границам для p-value или по порогу эффекта, но правила должны быть заранее. Так снижается риск подглядывания и переобучения на шуме, а распределение уровня значимости помогает контролировать ошибку I рода.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Секвенциальное тестирование»