A/B тест: пользователи случайно распределены по группам, но у каждого много сессий. Вы агрегировали метрику до уровня пользователя user_mean и сравниваете группы. Какой тест по дизайну подходит лучше всего?
AПарный
t-test, потому что у каждого пользователя есть много сессий внутри одной из двух группBТест
chi-square, потому что данные изначально записаны на уровне отдельных сессий пользователейCНепарный
t-test для двух независимых выборок, потому что группы пользователей не пересекаютсяDТест на равенство дисперсий двух выборок вместо обычного теста разницы средних значений
Правильный ответ. После агрегации до пользователя сравнение идёт между разными группами пользователей — дизайн независимых выборок.
Разбор
Ключевой вопрос — пересекаются ли объекты сравнения: пользователь относится либо к A, либо к B. Если метрика сведена к одному числу на пользователя, наблюдения независимы между группами, и подходит непарный t-test. Типичная ошибка — тестировать по сессиям без агрегации и получить псевдоувеличение n из-за зависимости внутри пользователя.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Тесты для средних»
- Вы измерили среднее время выполнения задачи у одних и тех же 40 пользователей до и после изменения интерфейса. Какой тест для сравнения средних здесь уместен?
- В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для метрики `revenue_per_user`?
- Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
- Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
- Какая «нормальность» (интуитивно) важна для парного `t-test` при сравнении до и после?
- Все вопросы по «Тесты для средних» →