Вы хотите протестировать два уровня цены, но цену A показываете только пользователям из платного трафика, а цену B — только органическим. В чём главный риск такого теста?

AРиск только в различии цен между группами, а методология сравнения корректна и интерпретация выводов от этого не пострадает
BТест корректен: цена сравнивается на двух выборках реальных пользователей, и расхождение состава трафика на итог не влияет
CНет рандомизации: сравниваются заведомо разные аудитории, и результат искажён ошибкой отбора по источнику трафика
DТестировать разные цены онлайн запрещено как класс: дизайн нарушает правила площадок и приводит к ошибкам сравнения
Правильный ответ. Без рандомизации внутри одной аудитории эффект цены смешивается с различиями источников трафика, и получается ошибка отбора.

Разбор

Платный трафик и органика часто сильно отличаются по мотивации и платёжеспособности, поэтому конверсии и средний чек различаются даже при одинаковой цене. В таком дизайне нельзя отделить эффект цены от эффекта источника. Правильнее рандомизировать цену внутри одной и той же аудитории или хотя бы внутри каждого канала отдельно. Иначе решение принимается на смещённых метриках.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать продуктовую аналитику в браузере

Ещё вопросы по теме «Монетизация и юнит-экономика»