Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и MDE. Что ожидаемо случится с размером выборки?
AРазмер выборки вырастет, потому что нужно снизить ошибку II рода и надёжнее отделить эффект от шума на тех же данных.
BРазмер выборки уменьшится, потому что более высокая мощность позволяет обходиться меньшим числом наблюдений в каждой группе.
CНичего не изменится, потому что мощность теста не связана с размером выборки при тех же
MDE и уровне значимости.DРазмер выборки вырастет только в тестовой группе, а контрольную можно оставить прежней без потери качества выводов.
Правильный ответ. Более высокий
power означает меньший beta, и для этого обычно нужен больший sample size.Разбор
Мощность 90% означает, что вы хотите с высокой вероятностью находить эффект размера MDE, если он есть. Это эквивалентно снижению вероятности ошибки II рода и требует больше наблюдений при той же дисперсии метрики. Поэтому при прочих равных размер выборки растёт.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →