В A/B-тесте новый онбординг включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation rate для сравнения вариантов?
AАктивированные / все посетители лендинга, включая тех, кто ушёл до регистрации
BАктивированные / все установки приложения за период эксперимента
CАктивированные / пользователи с событием
signup_complete, которым реально назначен вариантDАктивированные / активированные, чтобы сравнить «качество» активации между вариантами
Правильный ответ. Для честного сравнения activation rate знаменатель должен соответствовать моменту назначения варианта в эксперименте.
Разбор
Если вариант назначается после события signup_complete, сравнивать нужно только тех, кто дошёл до момента назначения. Иначе метрика смешает эффект онбординга и различия в верхней части воронки. Деление на всех посетителей или установки размоет эффект и может дать ложные выводы. Корректный знаменатель — аудитория, для которой тест реально применим, то есть назначенные пользователи.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Рост, активация и онбординг»
- Вы запускаете приложение для учёта личных расходов. Ценность появляется, когда пользователь видит первую автокатегоризацию трат (это ваш ключевой момент ценности). Какую метрику активации логичнее выбрать?
- В freemium-продукте что лучше всего описывает разницу между активацией и конверсией?
- Команда хочет найти действие, которое ближе всего к ключевому моменту понимания ценности продукта. Какой подход наиболее практичен и надёжен?
- Какой сценарий лучше всего описывает самоподдерживающийся цикл роста, а не разовую кампанию?
- Вы хотите понять, ускоряет ли новый онбординг достижение aha-момента. Какая метрика лучше всего подходит?
- Все вопросы по «Рост, активация и онбординг» →