Вы хотите метрику «какая доля показов заканчивается кликом». У вас по каждому пользователю есть клики и показы. Какой расчёт соответствует нужному уровню агрегации?
AПосчитать простое среднее пользовательских CTR без весов, чтобы каждый пользователь вносил одинаковый вклад в итог
BВзять медиану пользовательских CTR, чтобы устойчиво описать типичного пользователя и не зависеть от выбросов трафика
CПосчитать общий CTR как сумма кликов делённая на сумму показов, что эквивалентно взвешенному среднему с весами равными показам
DПосчитать сумму кликов делённую на число пользователей, потому что это даёт интерпретацию «на пользователя»
Правильный ответ. Если цель — доля кликов на показ, правильный уровень агрегации — показ, а объединение по пользователям требует взвешенного среднего с весами равными показам.
Разбор
Среднее пользовательских CTR без весов даёт одинаковый вклад пользователям с одним показом и с тысячью показов. Это создаёт смещение и превращает метрику в «средний пользовательский CTR», что может не совпадать с продуктовым вопросом. Для общей доли кликов нужно суммировать клики и показы и взять отношение, что эквивалентно взвешенному среднему с весами равными показам. Медиана и деление на число пользователей отвечают на другие вопросы и тоже искажают долю кликов на показ.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в ловушку «среднего средних»?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?
- Все вопросы по «Взвешенные средние и смешение» →