Что такое alpha spending в последовательном тестировании?
AМетод отбора единственной значимой метрики, которая лучше всего реагирует на изменение в эксперименте
BПлан распределения общего уровня
alpha между промежуточными проверками, чтобы контролировать ошибку I родаCПравило, запрещающее смотреть промежуточные результаты до окончания эксперимента и набора полной выборки
DСпособ автоматически увеличить размер выборки в эксперименте, если ранние результаты выглядят неубедительно
Правильный ответ.
Alpha spending распределяет общий риск ошибки I рода между несколькими промежуточными проверками.Разбор
Если вы смотрите данные несколько раз, каждая проверка «тратит» часть общего уровня alpha. Alpha spending задаёт, сколько alpha можно использовать на каждой промежуточной проверке, чтобы суммарно не превысить заданный уровень. Благодаря этому возможна ранняя остановка с контролем доли ложноположительных результатов.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
- Что лучше всего описывает правило остановки в контексте последовательного тестирования?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?
- Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Заинтересованные стороны хотят еженедельные апдейты и возможность остановить тест раньше, если уже «всё ясно». Что лучше сделать до запуска?
- Все вопросы по «Секвенциальное тестирование» →