В A/B тесте конверсия в iOS и в Android выше у варианта B, но общая конверсия по всем пользователям ниже у B. Как это корректнее всего назвать?
AЭто просто сдвиг микса аудитории по платформам, и он не несёт риска переворота вывода об эффекте варианта в общей метрике
BСегментный анализ всегда неверен на iOS и Android, потому что платформы пересекаются, и поэтому общий результат корректнее любого сегмента
CПри корректных данных такая ситуация невозможна, поэтому результат можно игнорировать и принимать решение по общей конверсии без оговорок
DЭто классический парадокс Симпсона из-за сдвига состава аудитории и разных весов сегментов в общей конверсии по обоим вариантам
Правильный ответ. Если в каждом сегменте B лучше, но в целом хуже, это классический парадокс Симпсона, возникающий из-за сдвига состава аудитории и разных весов сегментов.
Разбор
Общий результат — это взвешенное среднее сегментных метрик, и при изменении долей сегментов итог может перевернуть знак. Такое часто случается, когда в одном варианте больше трафика из сегмента с низкой базовой конверсией. Решение — сравнить сегменты отдельно или стандартизировать общий показатель с фиксированными весами.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в ловушку «среднего средних»?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?
- Все вопросы по «Взвешенные средние и смешение» →