Вы хотите сегментировать результаты по VIP, где VIP — пользователи с покупками за последние 30 дней. Но тест влияет на покупки, поэтому VIP-статус может измениться из-за самого теста. Как поступить, если цель — честная сегментация эффекта?
AПересчитывать VIP каждый день уже во время теста, чтобы сегмент был максимально актуальным
BСчитать VIP только в тестовой группе, а контрольную оставить без сегментации для упрощения сравнения
CЗафиксировать VIP по данным до старта эксперимента и держать сегмент неизменным весь период теста
DНе сегментировать вообще, потому что любые сегменты делают анализ результатов теста некорректным
Правильный ответ. Сегменты должны определяться по данным до назначения варианта, иначе появляется смещение из-за разбиения по результату эксперимента.
Разбор
Если VIP-статус меняется под влиянием теста, сегментация превращается в сравнение групп, частично определённых самим эффектом эксперимента. Это даёт смещение, и выводы про VIP становятся некорректными. Практичный подход — определить сегмент по данным до назначения и держать его неизменным на весь период теста. Тогда вопрос становится корректным: как эффект отличается для заранее известных VIP и не-VIP.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →