После релиза вы увидели неожиданный рост конверсии, но подозреваете, что событие конверсии отправляется дважды. Какой признак лучше всего проверяет гипотезу о дублях?

AПроверить распределение числа событий на пользователя и наличие уникального идентификатора, по которому можно дедуплицировать записи
BСравнить только сглаженное среднее значение метрики по неделям и оценивать наличие дублей по форме графика на дашборде
CСравнить значение p-value итогового теста с порогом и сделать вывод о наличии дублей по статистической значимости разницы
DСравнить общий объём трафика с предыдущей неделей и оценивать наличие дублей только по совокупному числу пользователей
Правильный ответ. Дубли обычно видно по всплеску событий на пользователя и по наличию уникального идентификатора для дедупликации.

Разбор

Если одно действие пользователя приводит к двум одинаковым событиям, у части пользователей будет аномально высокий счётчик событий. Проверка уникального идентификатора (например, order_id) помогает понять, можно ли корректно дедуплицировать события. Без этой проверки рост метрики может оказаться не продуктовым эффектом, а артефактом инструментирования. Сглаженный график, p-value и общий объём трафика про дубли ничего не говорят.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «QA, SRM и раскатка»