Команда говорит: хотим MDE 10% для конверсии. Что важно уточнить перед расчётом размера выборки и длительности теста?
AУточнить только цвет кнопки: именно цвет напрямую влияет на конверсию, и больше ничего знать заранее не требуется
BУточнить только уровень значимости: остальные параметры расчёта длительности теста допустимо взять по умолчанию
CУточнить, что значит указанный MDE: относительный или абсолютный (в процентных пунктах), и какой ожидаемый базовый уровень конверсии
DУточнить только мощность теста: значения MDE по умолчанию достаточно для расчёта размера выборки и длительности
Правильный ответ. Перед расчётом важно зафиксировать, что значит MDE (относительный или абсолютный) и какой ожидаемый базовый уровень конверсии, иначе размер выборки будет неверным.
Разбор
Фраза «MDE 10%» может означать как +10% относительно текущего уровня, так и +10 процентных пунктов, и это принципиально разные абсолютные изменения. Расчёт размера выборки чувствителен к абсолютному сдвигу и базовому уровню конверсии. Поэтому перед планированием важно зафиксировать формулировку MDE и ожидаемый базовый уровень, иначе длительность теста может оказаться сильно недооценённой. Уровень значимости и мощность тоже важны, но без MDE и базового уровня их недостаточно.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →