Вы сравниваете CTR на очень большом трафике; у каждого пользователя много показов, нулевых знаменателей почти нет. Какой метод обычно даёт хороший баланс точности и скорости?
AДельта-метод с линеаризацией ratio-метрики и сравнением средних: быстро и достаточно точно на больших выборках
B
bootstrap с миллионами итераций как единственно допустимый вариант для любых размеров выборкиCПерестановочный тест по всем показам как самый строгий и точный подход в любой постановке
D
Mann–Whitney по пользовательскому CTR без весов с игнорированием разного числа показов у пользователейПравильный ответ. При больших выборках и стабильном знаменателе дельта-метод часто достаточно точен и быстрее
bootstrap.Разбор
Для CTR с большим числом показов асимптотические приближения обычно работают хорошо. Дельта-метод даёт адекватную стандартную ошибку для ratio-метрики и быстро считается на миллионах строк. bootstrap может служить проверкой или использоваться при сомнениях в предположениях, но вычислительно дороже. Перестановочный тест по показам игнорирует кластеризацию по пользователю, а Mann–Whitney по пользовательскому CTR не учитывает разное число показов и теряет мощность.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →