В тесте средний чек вырос, но количество заказов и доля повторных покупок снизились. Почему так могло случиться и что сделать первым делом?

AСдвиг состава покупателей: проверить сегменты, страховочные метрики и нормализацию на пользователя
BРост среднего чека: тест успешен, дополнительные проверки только затянут принятие решения
CШум в остальных метриках: смотреть только на средний чек, остальное игнорировать
DРасхождение долей групп SRM: перезапустить тест с правильной рандомизацией пользователей
Правильный ответ. Средние показатели могут меняться из-за состава аудитории, поэтому нужно проверять сегменты и применять корректную нормализацию.

Разбор

Рост среднего чека может происходить не потому, что все стали покупать больше, а потому что часть пользователей с малыми покупками перестала покупать. Это типичная ловушка интерпретации, особенно при изменении ассортимента, цен или порога бесплатной доставки. Практично проверить страховочные метрики по воронке, разрезы по сегментам и метрики, нормализованные на пользователя или заказ, чтобы понять реальную динамику. Объявлять тест успешным или винить только SRM без проверок — обе крайности.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Метрики и guardrail-метрики»