Вариант B показывает заметное падение числа покупок по событиям, но по базе транзакций покупок почти столько же, сколько в A. Что лучше всего сделать, чтобы подтвердить проблему инструментирования событий?

AСверить логи событий с таблицей транзакций как источником истины и проверить потери и дубликаты событий покупки
BПринять падение событий как реальное и зафиксировать просадку покупок только по дашборду событий без сверки с транзакциями
CПодобрать другую метрику успеха без расхождений между источниками и продолжить раскатку по альтернативной метрике без сверки
DСократить окно анализа до последних дней и пересчитать метрику только по свежим событиям, не сверяясь с базой транзакций
Правильный ответ. Если события расходятся с источником истины, нужно делать сверку и искать потери и дубликаты в логах.

Разбор

События могут теряться из-за сетевых ошибок, изменений схемы, условий отправки или багов клиента. Сверка с транзакциями помогает понять, что бизнес-действие было, а событие не записалось — или записалось дважды. После подтверждения расхождения корректнее чинить инструментирование событий, чем интерпретировать падение как поведение пользователей.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «QA, SRM и раскатка»