В тесте основная метрика растёт, но страховочная метрика по ошибкам и крэшам ухудшается. Какое действие наиболее корректно?
AОстановить или откатить эксперимент и сначала разобраться с деградацией страховочной метрики, прежде чем продолжать раскатку и интерпретировать рост основной
BИгнорировать страховочную метрику по ошибкам и крэшам, раз основная метрика растёт, и зафиксировать запуск как успешный без дополнительных проверок качества
CУвеличить долю трафика в тестовой группе, чтобы быстрее «перебить» рост ошибок улучшением основной метрики и закрыть эксперимент с положительным итогом
DСчитать метрики только в будние дни, чтобы убрать выходной шум, и таким образом сгладить ухудшение страховочной метрики до приемлемого уровня
Правильный ответ. Страховочная метрика — это ограничение риска: при ухудшении запуск опасен, даже если основная метрика улучшается.
Разбор
Смысл страховочной метрики — защищать качество продукта и стабильность. Рост основной метрики может быть краткосрочным и не оправдывает ухудшение по ошибкам или крэшам. Правильный процесс — остановить воздействие, локализовать проблему и повторить проверку после исправления. Игнорировать ухудшение, наращивать трафик или подгонять окно подсчёта — это способы спрятать риск, а не управлять им.
Можно заниматься бесплатно
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →