Почему стратегия «остановили, как только стало значимо» часто приводит к завышенному размеру эффекта и наблюдаемому приросту?

Если эксперимент останавливают в момент, когда метрика случайно оказалась выше обычного, именно это значение попадает в отчёт. При продолжении теста эффект часто «усредняется» и становится меньше. Поэтому без корректных процедур последовательного тестирования ранняя остановка может создать иллюзию большого прироста и привести к неверным решениям.