Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн 2x2 вместо взаимного исключения аудиторий?

AВ любой ситуации: факторный дизайн 2x2 строго превосходит другие варианты запуска
BТолько при непересекающихся аудиториях: иначе результаты обоих экспериментов искажаются
CТолько если разделить пользователей на сегменты по идентификатору технически невозможно
DКогда важно оценить взаимодействие факторов и есть мощность на все 4 комбинации
Правильный ответ. Факторный дизайн полезен, если вы сознательно допускаете пересечение и хотите оценить не только главные эффекты, но и взаимодействие.

Разбор

В дизайне 2x2 вы получаете четыре группы и можете оценить как эффект каждого фактора по отдельности, так и их взаимодействие. Это удобно, если изменения потенциально влияют друг на друга и важно это измерить. Однако каждая ячейка получает меньшую долю трафика, поэтому требуется больше времени или большая аудитория для достаточной точности. Если взаимодействие не интересует — проще и безопаснее запускать эксперименты со взаимным исключением аудиторий.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Дизайн эксперимента и рандомизация»