Команда переместила кнопку оформления заказа в новое место на странице. В первую неделю конверсия в тестовой группе упала на 8%, но через месяц стала на 3% выше контроля. Что лучше всего объясняет динамику метрик?

AМетрики отражают реальное ухудшение продукта: от нового расположения кнопки нужно отказаться
BЧасть падения объясняется неприятием изменений: пользователи привыкли к старой позиции кнопки
CПадение метрик означает баг в реализации нового расположения кнопки в тестовой группе
DСтатистическая значимость низкая: прошла только одна неделя, и эффект ещё не проявился
Правильный ответ. Неприятие изменений (change aversion) — временное падение метрик, когда пользователи привыкли к старому интерфейсу.

Разбор

Неприятие изменений (change aversion) — временный негативный эффект от смены интерфейса. Пользователи привыкли к определённому расположению элементов и при изменении теряются. Метрики временно падают, но по мере привыкания к новому дизайну восстанавливаются и могут даже вырасти. Поэтому тест нужно держать достаточно долго, чтобы и неприятие изменений, и эффект новизны затухли.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать A/B в браузере

Ещё вопросы по теме «Основы A/B-тестирования»