После успешного эксперимента вы делаете полную выкатку, но оставляете небольшую группу без изменений (holdout). Зачем это обычно делают?
AЧтобы иметь постоянную контрольную группу и ловить регрессии или долгосрочные эффекты после полной выкатки фичи на пользователей
BЧтобы исключить из анализа пользователей с экстремальными значениями метрики и снизить дисперсию итоговой оценки эффекта по выкатке
CЧтобы автоматически снижать долю выкатки, если страховочные метрики ухудшаются на основной аудитории после полной выкатки фичи
DЧтобы оценивать сезонность спроса на той же аудитории и заменять основной отчёт коротким срезом по удержанной группе пользователей
Правильный ответ. Holdout позволяет сравнивать поведение после выкатки с неизменённым контролем и ловить регрессии.
Разбор
Даже если эксперимент был успешным, после выкатки могут появиться эффекты на другом трафике, в другое время или при росте нагрузки. Небольшой holdout даёт эталон, с которым можно сравнить метрики на длительном горизонте. Это особенно полезно для редких событий и эффектов, которые проявляются постепенно. Holdout не «помогает получить нужный p-value» и не ускоряет сбор — он, наоборот, удерживает часть пользователей вне изменения.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →