Зачем в A/B тестах применяют методы снижения дисперсии вроде CUPED?

AЧтобы искусственно увеличить наблюдаемый эффект, вычитая шум только из тестовой группы и завышая итоговую разницу метрики
BЧтобы гарантировать p-value ниже выбранного уровня значимости в каждом запуске и автоматически признавать тест успешным
CЧтобы уменьшить дисперсию метрики и сузить доверительный интервал при том же трафике, не меняя ожидаемое значение эффекта
DЧтобы сделать эксперимент нечувствительным к проблемам SRM и автоматически выровнять размеры тестовой и контрольной групп
Правильный ответ. CUPED снижает шум метрики и сужает доверительный интервал при той же выборке, не добавляя смещения при корректном применении.

Разбор

Идея в том, чтобы использовать дополнительную информацию (например, ковариату из предтестового периода), которая объясняет часть разброса исхода. Тогда стандартная ошибка уменьшается, а доверительный интервал сужается, что позволяет быстрее получить устойчивый вывод. При корректном применении CUPED не вносит смещение: метод снижает дисперсию, но не меняет ожидаемое значение эффекта. Завышение эффекта или гарантированное снижение p-value — это уже не снижение дисперсии, а подтасовка.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Снижение дисперсии и CUPED»