Вы посчитали конверсию как долю успешных сессий среди всех сессий, но один пользователь может создавать много сессий. Какой главный риск для теста долей?
AРиск отсутствует: чем больше сессий, тем точнее оценка, и независимостью испытаний на уровне сессий можно смело пренебрегать
BДостаточно поменять
z-test на точный биномиальный тест, и проблема зависимости сессий внутри пользователя автоматически исчезнет даже на больших выборкахCНарушается независимость испытаний внутри пользователя, стандартная ошибка занижается, и лучше агрегировать долю до
user_id или учитывать кластеризациюDБольшое число сессий автоматически делает
p-value равным 0, поэтому различиями между сессиями одного пользователя в этой задаче можно пренебречьПравильный ответ. Если испытания не независимы, то оценка стандартной ошибки доли и
p-value могут быть неверными.Разбор
Сессии одного пользователя обычно коррелируют, поэтому считать их независимыми испытаниями опасно. Это часто приводит к завышенной уверенности: стандартная ошибка становится слишком маленькой, и тест чаще показывает значимость. Типичный выход — считать долю на уровне пользователя или использовать методы, учитывающие зависимость внутри пользователя. Ошибка — игнорировать единицу анализа и радоваться очень значимому результату.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Тесты для долей»
- Команда считает конверсию из показа в клик: 80 кликов на 1000 показов. Как корректнее всего описать эту величину как долю?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →