Вы сравниваете ARPU, но видите редкие очень крупные покупки и сильные выбросы; в каждом варианте около 10 тысяч пользователей. Что разумнее выбрать в первую очередь?

AПрименить обычный t-test по ARPU без проверки распределения, считая, что он надёжен для любых хвостов и выбросов
BИспользовать бутстрэп по пользователям и построить доверительный интервал для разницы средних ARPU между вариантами
CПрименить дельта-метод для ratio-метрик без диагностики, считая его всегда более точным, чем бутстрэп при тяжёлых хвостах
DСравнивать только долю платящих через z-test, полностью игнорируя размер покупок и сами выбросы в ARPU
Правильный ответ. При тяжёлых хвостах и выбросах в ARPU бутстрэп часто предпочтительнее параметрических приближений.

Разбор

Выбросы делают распределение среднего сильно несимметричным, и нормальная аппроксимация может работать плохо. Бутстрэп позволяет эмпирически оценить неопределённость и построить доверительный интервал для разницы вариантов, не опираясь на нормальность. Дельта-метод полезен, но без диагностики его нельзя считать заведомо лучше, а t-test без проверки хвостов рискует дать заниженный p-value. Дополнительно полезно смотреть на компоненты: долю платящих и средний чек среди платящих, чтобы понять источник эффекта.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Ratio-метрики и бутстреп»