Вы хотите понять, отличается ли конверсия между платформами iOS и Android. При этом трафик Android в основном идёт из регионов с низкой покупательной способностью. Какой подход наиболее корректен?
AСравнить общую конверсию между iOS и Android по всем странам сразу и сделать вывод об эффекте платформы без каких-либо дополнительных поправок.
BИспользовать регион как контрольную переменную: сделать стратификацию по регионам и сравнивать конверсию iOS и Android внутри одинаковых регионов.
CОставить в анализе только пользователей Android, потому что их трафик существенно больше и так выборка получится статистически мощнее.
DИскусственно перевести часть пользователей Android в группу iOS, чтобы доли платформ в выборке сравнялись и можно было сравнивать общие числа.
Правильный ответ. Для честного сравнения платформ нужно контролировать смешивающий фактор «регион» через стратификацию.
Разбор
Если регион влияет на покупки и распределён неравномерно между платформами, он искажает разницу метрик. Стратификация позволяет сравнить iOS и Android внутри одинаковых регионов, а затем собрать общий вывод с учётом весов. Это снижает риск перепутать эффект платформы с эффектом состава аудитории. Простое сравнение средних или искусственное перетасовывание пользователей в выборке такие смещения не лечит.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →