В A/B-тесте группы сформированы случайно, а распределение метрики далеко от нормального. Нужно получить p-value для гипотезы «разницы нет». Что наиболее естественно использовать?

Перестановочный тест строит распределение статистики при гипотезе «разницы нет» через перестановки меток групп, что хорошо сочетается с логикой случайного распределения. Это особенно полезно для метрик с тяжёлыми хвостами и нестандартных статистик. Типичная ошибка — применять перестановочный тест к данным, где группы не обменяемы (например, разные источники трафика), и получать некорректный p-value. Подменять p-value средним значением или интервалом без оговорок тоже неверно.