В каждом сегменте по устройству конверсия снизилась, но общая конверсия выросла. Что сначала нужно проверить, чтобы понять ситуацию?
AПроверить сдвиг микса в долях устройств между сегментами и пересчитать сравнение на одинаковой структуре аудитории, чтобы исключить эффект перевзвешивания
BИгнорировать разрезы по устройствам, потому что общий показатель конверсии всегда главный и отражает поведение всей аудитории по продукту в целом
CСразу обвинить трекинг и логирование событий, потому что такого расхождения общей и сегментных конверсий просто не бывает в корректных данных
DЗаменить контрольную переменную в анализе на другой признак сегментации, чтобы значения общей и сегментных конверсий совпали и не противоречили друг другу
Правильный ответ. Когда общий результат противоречит каждому сегменту, частая причина в сдвиге микса и изменении весов сегментов внутри общей выборки.
Разбор
Общий показатель является смесью сегментов, и изменение долей может привести к неожиданному результату. Поэтому важно смотреть не только значения внутри сегмента, но и распределение аудитории. После проверки сдвига микса полезно отчитать эффект на одинаковой структуре, чтобы сравнение было честным. Замена контрольной переменной или обвинение трекинга без проверки долей не объясняют парадокс.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →