Вы сделали линеаризацию ratio metric на уровне пользователя с помощью delta method (дельта-метод для ratio-метрик). Какой следующий шаг чаще всего используют для сравнения вариантов?

AСчитать, что статистический тест больше не нужен, потому что после линеаризации ratio metric стала линейной функцией
BПрименить t-test к линеаризованным пользовательским значениям и построить доверительный интервал для разницы средних
CВернуться к простому среднему пользовательских долей без весов и сравнить варианты обычным z-test без поправок
DБутстрапить отдельно числитель и знаменатель ratio metric, как независимые выборки, и сравнить варианты по p-value
Правильный ответ. После линеаризации ratio metric обычно сравнивают варианты как разницу средних, например через t-test.

Разбор

Линеаризация превращает сложное отношение в сумму вкладов по пользователям, что делает задачу похожей на сравнение средних. Дальше можно применять t-test (часто Welch t-test, если дисперсии отличаются) и построить доверительный интервал. Важно, чтобы единица анализа соответствовала единице рандомизации.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Ratio-метрики и бутстреп»