Что означает блокирование (blocking) в дизайне A/B-теста?
AРазбить пользователей на блоки до эксперимента по важному признаку (например, платформе) и выполнить рандомизацию внутри каждого блока
BОстанавливать эксперимент при первом наблюдении
p-value меньше уровня значимости alpha, не дожидаясь набора плановой выборкиCНазначать варианты по очереди: A, B, A, B без учёта признаков и размера выборки, полагаясь на естественное чередование
DАнализировать только пользователей, у которых платформа осталась стабильной, чтобы устранить шум от смены устройства в течение эксперимента
Правильный ответ. Блокирование снижает дисперсию и риск дисбаланса, выполняя рандомизацию внутри заранее заданных блоков.
Разбор
Если платформа или страна сильно влияют на метрику, случайный перекос их долей между тестовой и контрольной группами добавляет шум. Блокирование (или стратификация) делает так, что внутри каждого блока доли вариантов примерно одинаковы. Это уменьшает вариативность итоговой оценки и повышает мощность. Блоки нужно определять до запуска и не строить на поведении после старта.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Вы хотите применить `CUPED` с ковариатой `sessions_per_user` за период до эксперимента, но эти данные есть только у части пользователей, и доля таких пользователей различается между группами A и B. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →