У двух групп есть отдельные 95% доверительные интервалы для конверсии, и интервалы немного перекрываются. Можно ли из одного факта перекрытия сделать вывод, что разницы нет на уровне 0.05?

AДа, любое визуальное перекрытие двух отдельных интервалов всегда означает отсутствие статистически значимой разницы между группами
BНет, перекрытие отдельных интервалов не равно тесту разницы; нужен доверительный интервал для разницы или p-value
CДа, но только в том случае, если интервалы перекрываются больше чем на половину ширины меньшего из двух интервалов
DНет, потому что сравнивать доверительные интервалы между группами можно только при условии одинаковых выборочных средних
Правильный ответ. Сравнивать нужно доверительный интервал для разницы между группами, а не визуально оценивать перекрытие двух отдельных интервалов.

Разбор

Перекрытие двух отдельных доверительных интервалов не эквивалентно проверке разницы между группами. Для вывода о различии нужен интервал для разницы (или тест с p-value), потому что учитывается совместная неопределённость. Неинтуитивный момент: даже при небольшом перекрытии разница может быть статистически значимой.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать статистику в браузере

Ещё вопросы по теме «Доверительные интервалы»