В варианте B стало больше трафика из сегмента с низким базовым CTR, хотя внутри каждого сегмента B чуть улучшает кликабельность. Что может произойти, если сравнить общий CTR без учёта сегментов?
AОбщий эффект обязательно станет больше, потому что B улучшает CTR внутри каждого сегмента отдельно
BЭффект гарантированно останется тем же, потому что CTR не зависит от состава трафика по сегментам
CДельта-метод для отношения автоматически исправит смещение состава без необходимости стратификации
DМожно увидеть мнимое падение или рост общего CTR из-за изменения долей сегментов между вариантами
Правильный ответ. Общий результат по метрике-отношению может меняться из-за эффекта состава, даже если внутри сегментов картина другая.
Разбор
Если доли сегментов отличаются между вариантами, общий CTR превращается в смесь с разными весами. Тогда возможна ситуация, когда внутри каждого сегмента B лучше, но общий CTR хуже, и наоборот — это парадокс Симпсона. Решают стратификацией, корректным взвешиванием или анализом по сегментам перед общими выводами.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →