В каком случае применение дельта-метода для метрик-отношений наиболее рискованно и может дать неверную оценку неопределённости?
AКогда выборка очень большая, знаменатель почти не меняется и хвосты лёгкие
BКогда знаменатель может быть очень малым или нулевым, делая отношение нестабильным
CКогда вы используете одинаковые правила фильтрации в обоих вариантах эксперимента
DКогда метрика считается на фиксированном окне времени по всем пользователям сразу
Правильный ответ. Дельта-метод плохо переносит нестабильный или близкий к нулю знаменатель и сильную нелинейность отношения.
Разбор
При малых знаменателях небольшое изменение числителя сильно меняет отношение, и линейное приближение перестаёт описывать реальность. Похожая проблема возникает при тяжёлых хвостах и выбросах, что часто встречается в ARPU. В таких условиях полезнее применять bootstrap или предварительно менять постановку метрики и единицу агрегации. Большие выборки и устойчивая фильтрация, напротив, делают дельта-метод более надёжным.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →