Какой подход к остановке эксперимента лучше всего снижает риск подглядывания и спорных выводов о результате?
AСмотреть результаты каждый час и останавливать эксперимент, как только наблюдаемое значение метрики стало лучше, чем в контроле.
BОстановить эксперимент сразу, как только в первый день метрика чуть выросла относительно ожидаемого среднего уровня по продукту.
CЗаранее зафиксировать длительность или правило остановки по основной и страховочной метрикам и придерживаться этого плана.
DОстанавливать эксперимент в момент, когда руководителю станет психологически комфортно принять решение по продуктовой инициативе.
Правильный ответ. Чтобы снизить риск подглядывания, заранее фиксируют правило остановки и придерживаются его до конца эксперимента.
Разбор
Если постоянно подглядывать в данные и останавливать эксперимент по удобному моменту, возрастает шанс принять случайный шум за настоящий эффект. Поэтому команда заранее договаривается о длительности, критерии успеха по основной метрике и ограничениях по страховочной метрике. Такой процесс делает решение воспроизводимым и снижает вероятность самообмана при анализе.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →