Вы сделали стратификацию по платформе при рандомизации A/B-теста. Какой эффект это даёт в первую очередь?

AГарантию положительного прироста основной метрики в группе B независимо от качества дизайна эксперимента и реального поведения пользователей
BБолее ровное распределение долей iOS и Android между группами A и B, что снижает дисперсию метрики и риск случайного перекоса по платформе
CАвтоматическое уменьшение уровня значимости, потому что стратификация формально делает критерий более строгим и компенсирует множественные сравнения
DПолную отмену необходимости применять методы снижения дисперсии в будущих тестах с похожим дизайном и составом аудитории
Правильный ответ. Стратификация по важному фактору (например, платформе) выравнивает состав групп A и B и уменьшает шум и риск случайного перекоса.

Разбор

Если платформа влияет на базовый уровень метрики, небольшой перекос долей iOS и Android между группами может создавать ложный прирост или скрывать настоящий эффект. Стратификация снижает этот риск, потому что баланс по платформе обеспечивается на уровне дизайна эксперимента. Это не гарантирует значимости и не отменяет CUPED, который снижает дисперсию через предтестовые ковариаты, и не меняет уровень значимости автоматически. Поэтому корректный ответ — про более ровный состав групп и снижение шума, а не про гарантии и автоматические корректировки.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Снижение дисперсии и CUPED»