Чем CUPED (Controlled-experiment Using Pre-Experiment Data) отличается от подхода сравнивать метрику как post - pre между группами A и B?
A
CUPED подбирает оптимальный коэффициент theta для предтестовой ковариаты, а post - pre соответствует фиксированному весу 1B
CUPED увеличивает наблюдаемый эффект в два раза, а простое post - pre его сохраняет на исходном уровнеC
CUPED применим только к бинарным метрикам конверсии, а post - pre работает только с непрерывными метрикамиD
CUPED запрещает применение доверительных интервалов, а post - pre совместимо с ними и даёт корректный выводПравильный ответ.
CUPED оценивает оптимальный вес theta для предтестовой ковариаты; простое post - pre — это фиксированный вес и часто не оптимален по дисперсии.Разбор
И простое post - pre, и CUPED пытаются учесть базовый уровень пользователя, чтобы уменьшить шум. Фиксированное вычитание означает, что вес предтестового значения задан заранее и может быть слишком большим или слишком маленьким. CUPED оценивает theta из данных так, чтобы максимально снизить дисперсию скорректированной метрики при корректных предпосылках. Поэтому на практике CUPED обычно даёт более стабильную оценку эффекта при том же объёме выборки.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →