В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
AНарушается баланс долей групп, потому что соотношение тестовой и контрольной должно быть строго 50/50 в каждый момент времени
BНарушается требование одинаковых средних значений метрики до старта, потому что у друзей пользователя обычно разные интересы
CНарушается допущение
SUTVA: исход пользователей из контрольной группы зависит от назначения других пользователей через приглашенияDНарушается принцип случайности, потому что приглашения от рефералов приходят неравномерно и в основном по выходным
Правильный ответ. Допущение
SUTVA требует отсутствия взаимного влияния между пользователями: исход одного юнита не должен зависеть от назначения других.Разбор
Реферальные механики создают перетекание эффекта: действия пользователей из тестовой группы меняют опыт тех, кто формально в контрольной. В таком случае сравнение групп перестаёт измерять чистый эффект изменения, потому что контроль уже частично подвергся воздействию. Это может приводить к смещению оценки и сложной интерпретации причин. Часто помогают сетевые или кластерные дизайны, где минимизируют контакты между вариантами.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Ожидаемое разбиение — 50/50. По логам экспозиций видно `N_treat / N_control = 1.30`. Какой вывод и следующий шаг наиболее корректны?
- Все вопросы по «Дизайн эксперимента и рандомизация» →