Вы выбираете окно предпериода для CUPED. Какое правило самое важное, чтобы избежать утечки данных между группами и смещения оценки эффекта?
AПредпериод должен пересекаться с экспериментом, чтобы связь с послепериодом была сильнее и
CUPED забирал больше дисперсииBПредпериод должен быть полностью до старта воздействия и считаться одинаково для всех пользователей, чтобы ковариата не зависела от варианта
CПредпериод стоит брать как можно длиннее без ограничений, даже если в него попадают нерелевантные промо-периоды и сезонные всплески
DПредпериод можно брать частично после запуска варианта, если так удобнее считать ковариату для большинства пользователей
Правильный ответ. Главное правило: предпериод полностью до воздействия и одинаково определён для всех; иначе возможны утечка данных и смещение оценки.
Разбор
Если предпериод пересекается с воздействием, ковариата начинает зависеть от варианта, и корректировка вычитает часть самого эффекта. Поэтому окно выбирают полностью перед экспериментом и считают относительно момента назначения варианта. Также важно учитывать сезонность и события, которые могут ломать стабильность связи между предпериодом и послепериодом. Чем аккуратнее определён предпериод, тем безопаснее применение CUPED.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →