Маркетолог утверждает, что кампания B лучше: в B выше конверсия. Вы видите, что в B больше пользователей с десктопа, а на десктопе обычно базовая конверсия покупки выше. Какой ответ наиболее корректен на интервью?
AСогласиться с маркетологом: конверсия по кампаниям сравнима без поправки на состав аудитории по типу устройства
BУбрать сегмент по устройству и сравнить только общую выручку по кампаниям B и A на агрегатном уровне
CУказать на сдвиг состава: сравнить кампании like-for-like на одинаковых сегментах устройств или применить стратификацию по платформе
DСослаться на автоматическое распределение бюджетов: ошибка отбора по аудитории при таком запуске кампании исключена
Правильный ответ. Если состав аудитории по устройствам отличается, сравнение конверсий без контроля может быть искажено сдвигом микса и скрытыми факторами.
Разбор
Разные типы устройств часто имеют разную базовую конверсию и поведение пользователей. Если кампания приводит несопоставимую аудиторию, общая конверсия отражает смесь сегментов, а не качество кампании. Поэтому правильно зафиксировать тип устройства как контрольную переменную, сравнить like-for-like или провести стратификацию, и только потом делать вывод о реальной разнице между кампаниями.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →