У вас два кандидата на основную метрику: конверсия и выручка на пользователя. При прочих равных какая метрика чаще требует больший размер выборки и почему?
AКонверсия почти всегда требует большего размера выборки, потому что это доля и она ограничена интервалом [0;1]
BВыручка на пользователя чаще требует большего размера выборки: у неё выше дисперсия и тяжёлые хвосты из-за редких крупных покупок
CОбычно требуемый размер выборки одинаковый, потому что зависит только от уровня значимости
alpha и не зависит от метрикиDБольший размер выборки всегда нужен метрике с большей базовой долей: чем выше доля, тем больше нужно наблюдений
Правильный ответ. Метрики с более высокой дисперсией обычно требуют большего размера выборки для заданных
alpha, мощности и MDE.Разбор
Конверсия ограничена интервалом [0;1] и часто имеет более стабильную дисперсию. Выручка на пользователя обычно имеет тяжёлые хвосты из-за редких крупных покупок, поэтому шум выше, и для тех же alpha, мощности и MDE обычно требуется больше данных и времени.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →