Эксперимент рандомизируется по пользователям, а метрика CTR считается как клики/показы. Как корректнее всего настроить bootstrap для оценки разницы вариантов?
AРесэмплировать отдельные показы случайно, игнорируя принадлежность пользователю и считая
CTR по всему пулуBРесэмплировать пользователей с возвращением в каждой группе и пересчитывать
CTR как отношение суммы кликов к сумме показовCРесэмплировать клики и показы независимо друг от друга и брать отношение средних значений в каждой реплике
DРесэмплировать только дни и считать
CTR по дням, усредняя дневные значения для каждой из групп экспериментаПравильный ответ. В
bootstrap нужно ресэмплировать на уровне единицы рандомизации и пересчитывать отношение метрики как отношение сумм.Разбор
Если рандомизация по пользователю, внутри пользователя наблюдения зависимы и это нужно сохранять. Поэтому в каждом бутстрап-репликате выбирают пользователей с возвращением, суммируют клики и показы по выбранным пользователям и считают CTR. Так получают эмпирическое распределение эффекта без жёстких предположений о форме распределения.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →