Когда delta method (дельта-метод для ratio-метрик) обычно даёт приемлемое приближение для разницы в CTR?
AКогда выборка маленькая, а скорость ответа важнее точности оценки стандартной ошибки и доверительного интервала
BКогда распределение эффекта заведомо двухвершинное и сильно несимметричное, а знаменатель почти всегда близок к нулю
CКогда выборка большая, а знаменатель достаточно стабильный и далеко от нуля у подавляющей доли наблюдений
DКогда у большого числа пользователей знаменатель равен нулю или почти нулю, а выборка при этом сильно несбалансирована
Правильный ответ.
delta method лучше работает при больших выборках и при отсутствии нестабильности знаменателя у заметной доли наблюдений.Разбор
Линейное приближение становится точнее, когда выполнена асимптотика и нет «взрывов» отношения из-за малых знаменателей. Если у многих наблюдений знаменатель нулевой или очень маленький, ratio-метрика становится крайне шумной. Тогда приближение для стандартной ошибки может быть плохим, и стоит рассмотреть bootstrap или иной подход к оценке дисперсии.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →