В эксперименте с новым баннером 30% пользователей тестовой группы не дошли до экрана с баннером и не увидели изменение. Как правильно посчитать конверсию по принципу intention-to-treat?
AСчитать конверсию только среди тех, кто кликнул по баннеру и увидел новую страницу
BИсключить из анализа пользователей, которые закрыли приложение до загрузки нового баннера
CСчитать конверсию среди всех пользователей тестовой группы, независимо от того, увидели ли они баннер
DРазделить тестовую группу на видевших и не видевших баннер, посчитать конверсию отдельно
Правильный ответ. Принцип intention-to-treat: анализируем всех назначенных в группу, даже если они не увидели изменение.
Разбор
Intention-to-treat (ITT) — анализ по назначению в группу — включает в расчёт всех участников группы, а не только тех, кто реально увидел изменение. Это предотвращает систематическую ошибку: если исключить не-увидевших, остаются более активные пользователи, и результат будет завышен. ITT даёт консервативную, но честную оценку эффекта на весь трафик.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →