После запуска вы выяснили, что часть пользователей видит тестовую версию на вебе и контрольную в приложении из-за разных систем флагов. В чём главная проблема?
AПроисходит смешение тестовой и контрольной групп, и эффект эксперимента становится трудно интерпретировать корректно
BЭто улучшает учёт сезонности, потому что охватывается больше каналов и поведение пользователей усредняется по платформам
CНичего страшного: так выборка только увеличивается, а эффект усредняется по разным платформам и устройствам пользователя
DЭто помогает снизить риск ранних подглядываний в эксперимент, потому что итоговый результат усредняется по всем платформам
Правильный ответ. Смешение тестовой и контрольной групп для одного пользователя размывает различия и ломает интерпретацию эффекта эксперимента.
Разбор
Если один и тот же пользователь получает разные варианты в разных каналах, то сравнение групп перестаёт быть чистым. Контрольная группа может частично заражаться тестовой и наоборот, из-за чего эффект занижается или становится непредсказуемым. Обычно это решают единым источником флагов или согласованным ключом назначения варианта по единому идентификатору пользователя.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →