Какая ошибка в bootstrap чаще всего приводит к некорректной оценке дисперсии для CTR?
AПересчитывать
CTR в каждой реплике как отношение суммарных кликов к суммарным показам по ресэмплированным пользователямBРесэмплировать пользователей с возвращением и считать
CTR целиком на каждой реплике без разрыва числителя и знаменателяCРесэмплировать числитель и знаменатель отдельно как независимые выборки, что разрушает корреляцию кликов и показов
DФиксировать
seed для воспроизводимости вычислений и одинакового результата bootstrap при повторных запускахПравильный ответ. Нельзя бутстрапить числитель и знаменатель отдельно, если они статистически зависимы — это занижает дисперсию.
Разбор
Клики и показы обычно связаны: больше показов часто означает больше возможностей для кликов. Если бутстрапить их независимо, вы разрушаете эту зависимость и можете занизить дисперсию эффекта. Правильнее ресэмплировать исходные наблюдения на уровне единицы рандомизации (пользователя) и пересчитывать ratio-метрику целиком на каждой реплике. Фиксация seed важна для воспроизводимости, но к смещению дисперсии она не приводит.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →