Эксперимент рандомизируется по store_id (каждый магазин — кластер), потому что сотрудники влияют на опыт всех клиентов в магазине. Метрика — средний чек клиентов. Какая единица анализа чаще всего корректнее для вывода эффекта?

AСчитать метрику на уровне store_id и сравнивать магазины, либо использовать стандартные ошибки с поправкой на кластеры по store_id.
BСчитать каждый чек по receipt_id независимым наблюдением, потому что чек отражает решение клиента и не зависит от других чеков магазина.
CБрать только первые 10 чеков в каждом store_id за период наблюдения, чтобы предполагаемая зависимость между наблюдениями стала пренебрежимо мала.
DСменить единицу рандомизации на user_id и анализировать эффект по пользователям, не учитывая, что назначение шло на уровне магазинов.
Правильный ответ. При рандомизации по cluster анализ должен учитывать кластерную структуру, иначе стандартные ошибки будут занижены.

Разбор

Если рандомизируются магазины, то именно магазины являются независимыми единицами назначения. Считать каждый чек независимым значит игнорировать общие факторы внутри магазина, что обычно занижает дисперсию и делает выводы слишком оптимистичными. Типовой подход — считать метрику на уровне store_id или применять методы, учитывающие кластеризацию. Это согласует единицу анализа с единицей рандомизации.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Дизайн эксперимента и рандомизация»