ARPU за период вырос, но в разрезе iOS и Android ARPU снизился в каждом сегменте. Что корректнее всего сделать перед выводом о росте продукта?
AПринять рост общей метрики ARPU как доказательство улучшения продукта без проверки разрезов по платформе и состава аудитории за период
BУсреднить сегментные значения ARPU по iOS и Android поровну, чтобы убрать шум из расчёта и получить «справедливое» среднее значение
CИгнорировать различие сегментов и продлить окно сравнения по времени, чтобы все колебания платформенного состава успели усредниться
DПроверить сдвиг состава аудитории по платформам и пересчитать общий ARPU с фиксированными весами по платформам как взвешенное среднее
Правильный ответ. Когда итоговая метрика конфликтует с сегментами, проверьте сдвиг состава аудитории и стандартизируйте расчёт с фиксированными весами.
Разбор
Рост общей метрики может быть вызван тем, что выросла доля платформы с более высоким базовым ARPU, даже если внутри платформ ARPU падает. Это эффект сдвига состава, а не обязательно улучшение продукта. Практика — сравнить метрики на одинаковом уровне агрегации внутри сегментов и собрать общий результат через взвешенное среднее с фиксированными весами по платформам.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в ловушку «среднего средних»?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?
- Все вопросы по «Взвешенные средние и смешение» →