Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
AЭто сдвиг микса по регионам, который всегда повышает удержание и конверсию у активных пользователей по сравнению с менее активной аудиторией продукта
BЭто влияние внешнего смешивающего фактора только из-за сезонности, поэтому достаточно подождать пару недель и пересчитать показатели в спокойный период
CНужно убрать сегменты пользователей и смотреть только общий показатель конверсии, потому что разрезы всегда зашумляют итоговый результат сравнения групп
DЭто смещение отбора из-за самоотбора: функцию чаще включают более мотивированные пользователи с изначально более высокой базовой конверсией и удержанием
Правильный ответ. При смещении отбора пользователи сами выбирают попадание в группу, и сравнение перестаёт быть честным без рандомизации или стратификации.
Разбор
Те, кто включает функцию, обычно более вовлечены и уже имеют более высокую базовую конверсию. Поэтому разница метрик может отражать не эффект функции, а различия аудитории. Чтобы оценить эффект, нужно сравнение без самоотбора, например через рандомизацию или через корректные контрольные переменные и стратификацию. Сезонность или сдвиг микса по регионам объясняют далеко не все случаи и не отменяют необходимости борьбы с самоотбором.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Вы хотите сравнить конверсию между iOS и Android, но подозреваете, что в iOS больше трафика из канала email. Какой способ контроля смешивающего фактора наиболее корректен?
- Все вопросы по «Сегментация и конфаундинг» →