ARPU в контрольной группе равен 200, в тестовой — 210. Как корректно описать абсолютный и относительный эффект?

AАбсолютный эффект 200, относительный эффект 210
BАбсолютный эффект +5%, относительный эффект +10 единиц
CАбсолютный эффект +10 единиц, относительный эффект +5%
DАбсолютный эффект +10%, относительный эффект +10 единиц ARPU
Правильный ответ. Абсолютный эффект — разница в единицах метрики (210 − 200 = 10), относительный — та же разница в процентах от базы контроля (10 / 200 = 5%).

Разбор

ARPU вырос с 200 до 210, поэтому абсолютный эффект — это +10 денежных единиц. Относительный эффект считается как изменение, делённое на базу контрольной группы: 10 / 200 = 0.05, то есть +5%. Подставлять сами значения метрик вместо разницы или путать местами проценты и денежные единицы — типичные ошибки. И обратите внимание: +10% в качестве абсолютного эффекта — это всё ещё процент, а не абсолютная величина.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Основы A/B-тестирования»