Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в CUPED, чтобы не получить утечку и смещение оценки?
AСредняя выручка на пользователя за предэкспериментальный период до выдачи варианта
BСреднее число сессий на пользователя за предэкспериментальный период до выдачи варианта
CЧисло кликов по новому экрану в постэкспериментальный период, которое прямо зависит от варианта
DФиксированная характеристика страны пользователя, известная задолго до старта эксперимента
Правильный ответ. В
CUPED ковариата должна быть измерена до эксперимента и не зависеть от варианта, иначе оценка эффекта будет смещённой.Разбор
Классическое требование: ковариата не должна зависеть от воздействия и должна быть измерена до выдачи варианта. Если корректировать по тому, что само изменилось из-за эксперимента, вы частично вычитаете эффект и получаете смещённую оценку. Поэтому в CUPED берут признаки из предэкспериментального периода или статические характеристики, известные заранее.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Вы хотите применить `CUPED` с ковариатой `sessions_per_user` за период до эксперимента, но эти данные есть только у части пользователей, и доля таких пользователей различается между группами A и B. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →