В каком случае применение CUPED чаще всего почти не даст снижения дисперсии целевой метрики?
AКогда ковариата на предпериоде почти не связана с целевой метрикой на постпериоде (например, корреляция близка к нулю)
BКогда выборка большая, потому что
CUPED работает только на малых выборках и теряет эффект на большихCКогда метрика бинарная, потому что
CUPED неприменим к долям и работает исключительно с непрерывными метрикамиDКогда вы используете стратификацию, потому что она полностью заменяет
CUPED и делает его избыточнымПравильный ответ. Если ковариата с предпериода почти не связана с метрикой на постпериоде,
CUPED почти не снижает дисперсию.Разбор
CUPED уменьшает шум за счёт объяснения части вариативности через ковариату с предпериода. Если ковариата почти ничего не предсказывает, то и вычитать нечего, поэтому дисперсия почти не меняется. В таком случае усложнение расчётов может не окупиться. CUPED применим и к большим выборкам, и к бинарным метрикам, а стратификация и CUPED — взаимодополняющие техники, а не замена друг другу.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →