У каждого пользователя максимум одна конверсия, а метрика — доля пользователей с конверсией. Какой тест чаще всего уместен в базовом A/B при большом размере выборки?

Az-test (или chi-square) для разницы двух долей при достаточно большом размере выборки
Bbootstrap как единственный допустимый метод, потому что доли всегда требуют непараметрической оценки
CДельта-метод для отношений, потому что это всегда лучший выбор для долей и любых пропорций
DMann–Whitney, потому что этот критерий специально создан для бинарных метрик и пропорций
Правильный ответ. Для доли бинарного события при больших n обычно подходит z-test (или chi-square) по пропорциям.

Разбор

Здесь метрика — доля пользователей с событием, а знаменатель фиксирован на уровне пользователей. При больших выборках нормальная аппроксимация для разницы долей работает хорошо, и тест считается быстро. bootstrap может использоваться как проверка, но часто не требуется для базового решения. Дельта-метод нужен для метрик-отношений с разным знаменателем, а Mann–Whitney — для непрерывных распределений, не для бинарных событий.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Ratio-метрики и бутстреп»