Какие данные нужны, чтобы применить CUPED в эксперименте по метрике revenue_per_user?
AДостаточно знать итоговый
p-value эксперимента, CUPED вычисляется по нему автоматически после остановки сбора данных.BНужно, чтобы группы имели разный размер по числу пользователей, иначе формула
CUPED для скорректированной метрики не сработает корректно.CНужна предэкспериментальная ковариата (до воздействия), связанная с
revenue_per_user в постпериоде, измеренная по тем же пользователям.DНужна только сегментация пользователей после эксперимента по результатам метрики, предэкспериментальные данные для
CUPED не требуются.Правильный ответ.
CUPED требует предэкспериментальную ковариату, измеренную до старта воздействия и коррелирующую с целевой метрикой.Разбор
Обычно в качестве ковариаты берут то, что предсказывает поведение пользователя: прошлую revenue_per_user или sessions_per_user в предпериоде. Важно, чтобы ковариата была измерена до старта воздействия и не могла измениться из-за варианта эксперимента, иначе появится систематическое смещение оценки. Если связь ковариаты с целевой метрикой слабая, выигрыш в снижении дисперсии будет небольшим, и применять CUPED ради него нет смысла.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Вы хотите применить `CUPED` с ковариатой `sessions_per_user` за период до эксперимента, но эти данные есть только у части пользователей, и доля таких пользователей различается между группами A и B. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →