Пользователи сами решают, обновлять ли приложение. Вы сравнили конверсию у обновившихся и не обновившихся и получили лучший результат у новой версии. Что здесь самая большая аналитическая проблема?
AРазницы в группах нет, потому что сегмент обновившихся пользователей всегда случайный и сопоставим с не обновившимися по всем ключевым признакам
BДостаточно увеличить выборку обеих групп, и смешивающий фактор постепенно исчезнет сам собой по мере накопления большего числа наблюдений
CЭто смещение отбора из-за самоотбора: обновляются более активные пользователи, и сравнение групп не отражает причинного влияния новой версии
DПроблема только в сдвиге микса по моделям устройств, а смещение отбора в этой схеме сравнения двух версий приложения в принципе невозможно
Правильный ответ. Добровольное обновление создаёт смещение отбора, поэтому такое сравнение не даёт чистого эффекта новой версии.
Разбор
Обновившиеся пользователи могут отличаться по вовлечённости, базовой конверсии покупок и устройствам. Эти различия становятся смешивающим фактором и могут объяснить рост метрики без реального улучшения продукта. Чтобы оценить влияние версии, нужна рандомизация или хотя бы сравнение «равное к равному» с контролем ключевых факторов. Увеличение выборки или ссылка на сдвиг микса по устройствам сами по себе проблему самоотбора не решают.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →