В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?

AЭто означает, что взвешенное среднее всегда даёт неверный знак, поэтому надо смотреть только простое среднее по всем регионам
BЭто парадокс Симпсона: из-за сдвига состава по регионам взвешенное среднее с другими весами может перевернуть знак общего эффекта
CСегменты можно игнорировать и принимать решение по общей метрике, потому что итоговый результат всегда важнее, чем поведение по сегментам
DЭто всегда означает ошибку логирования в одном из регионов, и достаточно перепроверить только этот регион, не трогая остальные данные
Правильный ответ. Когда общий эффект противоречит эффектам в каждом сегменте, это типичный парадокс Симпсона, связанный со сдвигом состава.

Разбор

Такое возможно, если доли регионов в группах A и B разные и веса сегментов изменились. Тогда общий результат — это взвешенное среднее сегментов с другими весами, и знак эффекта может перевернуться. Первый шаг: убедиться, что сравнение идёт на одном уровне агрегации и нет перекоса в составе. Затем интерпретировать эффект по сегментам или стандартизировать с фиксированными весами.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Открыть Карьерник в браузере

Ещё вопросы по теме «Взвешенные средние и смешение»