Грубо, при фиксированных уровне значимости, мощности и дисперсии, если уменьшить MDE в 2 раза, как изменится требуемый размер выборки?
AРазмер выборки уменьшается примерно в 2 раза: пропорционально уменьшению целевого эффекта
BРазмер выборки увеличивается примерно в 2 раза: линейный рост от снижения эффекта
CРазмер выборки увеличивается примерно в 4 раза по соотношению
n ~ 1 / MDE^2DРазмер выборки не меняется:
MDE влияет только на интерпретацию итоговПравильный ответ. При прочих равных размер выборки примерно пропорционален
1 / MDE^2: уменьшили MDE в 2 раза → нужно около 4× данных.Разбор
Чтобы заметить вдвое меньший сигнал, нужно гораздо больше наблюдений, иначе шум перекроет эффект. В типовых формулах планирования при фиксированных значимости, мощности и дисперсии получается связь n ~ 1 / MDE^2. Поэтому уменьшение MDE в 2 раза даёт рост размера выборки примерно в 4 раза. Линейная связь или независимость от MDE — частое заблуждение.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →