Компания провела A/B-тест бесплатной доставки на российском рынке: конверсия выросла на 15%. Продакт хочет раскатить это на все страны без дополнительных тестов. Корректен ли такой подход?
AНет, потому что размер выборки должен быть не менее миллиона пользователей для международных выводов
BДа, рандомизация гарантирует, что результаты применимы к любой аудитории в любой стране
CДа, если конверсия статистически значима, результат автоматически распространяется на все рынки
DНет, потому что поведение пользователей зависит от культуры, уровня цен и конкурентной среды на рынке
Правильный ответ. Внешняя валидность — применимость результатов за пределами конкретного эксперимента.
Разбор
Результат A/B-теста внутренне валиден (эффект реален для данной аудитории), но его нельзя автоматически переносить на другие условия. Бесплатная доставка в России, где средний чек и стоимость логистики одни, может не работать в стране с другой структурой расходов. Культурные различия, конкуренция, привычки — всё влияет. Для каждого нового рынка нужен отдельный тест или как минимум проверка на подвыборке.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →