Калькулятор размера выборки дал требование N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
A4 дня: расчёт по формуле
40000 / 10000 без учёта разбиения трафика на две группыB5 дней: расчёт по формуле
20000 / 4000 пользователей в день на одну группуC6 дней: расчёт по формуле
30000 / 5000 пользователей в день при объединённом потокеD8 дней: расчёт по формуле
20000 / 2500 пользователей в день на группу при 50/50Правильный ответ. Длительность теста ≈ требуемый размер выборки на группу, делённый на ежедневный поток в эту группу.
Разбор
При разбиении 50/50 из 5000 пользователей в день каждая группа получает примерно 2500 человек в день. Чтобы набрать N_treat = 20000, нужно 20000 / 2500 = 8 дней. Аналогично для N_control, поэтому минимальная длительность теста около 8 дней при стабильном трафике. Ошибочные оценки 4–6 дней получаются, если делить общий поток на размер одной группы или пропустить разбиение пополам.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и `MDE`. Что ожидаемо случится с размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →