Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне user_id. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?

Если метрика считается на уровне пользователя за 7 дней, рандомизация тоже должна быть по user_id, иначе один человек увидит оба варианта и эффект «размажется». При рандомизации по сессии или показу страницы один и тот же пользователь попадёт сразу в обе группы, и сравнение перестанет отвечать на вопрос «кто бы конвертировался, если бы ему всегда показывали B». device_id тоже плох, потому что один пользователь часто заходит с нескольких устройств, и опять смешает группы.