Когда просить регистрацию: мягкий запрос на входе вместо требования на кассе
Необязательный запрос регистрации на входе поднял долю регистраций на 58%, не тронув мгновенную конверсию, а зарегистрированные так покупатели затем покупали на 11–17% больше за 47 дней.
Суть
Доказательства
- +58,08%относительная вероятность регистрацииНеобязательный (skippable) запрос регистрации в начале воронки, который можно закрыть и продолжить как гость, поднял долю зарегистрировавшихся пользователей — это прямой эффект показа запроса (ITT).ITT · A/B-тест, сравнение средних по группам · n=75 914 (тест-группа 37 127 / контроль 38 787) · t=62,649, p<0,01 · Huang et al. 2021, collage.com, май 2018
- p=0,916конверсия за первые 24 часаЗначимой разницы в краткосрочной конверсии между группами нет — прямого эффекта запроса на немедленную покупку не обнаружено. Это отдельный устойчивый результат, а не «не нашли эффекта».ITT · A/B-тест, сравнение средних по группам · n=75 914 · t=0,106, p=0,916 (Table 4; в тексте статьи для этого же показателя приведено t=0,357, p>0,10 — расхождение внутри источника, вывод об отсутствии эффекта в обоих случаях тот же) · Huang et al. 2021, collage.com, май 2018
- +10,89%вероятность покупки в долгосроке (47 дней)Не эффект самого показа запроса, а эффект факта регистрации, вызванной запросом в начале воронки (LATE — эффект для тех, чьё решение зарегистрироваться реально изменил запрос; оценён двухшаговым методом наименьших квадратов, 2SLS, где запрос выступает инструментальной переменной для регистрации). Показывает ценность зарегистрированных пользователей, а не эффект интерфейсного решения напрямую.LATE · 2SLS, запрос как инструментальная переменная · n=75 723 · коэффициент 0,027, значим на уровне p<0,05 (точное значение p в источнике не приведено, Table 7) · Huang et al. 2021, collage.com, 2018
- +16,76%число заказов в долгосрокеLATE-эффект факта регистрации (не прямой эффект показа запроса) на количество заказов за 47-дневное окно наблюдения.LATE · 2SLS, запрос как инструментальная переменная · n=75 723 · коэффициент 0,029, значим на уровне p<0,05 (точное значение p в источнике не приведено, Table 7) · Huang et al. 2021, collage.com, 2018
- +13,22%выручка в долгосрокеLATE-эффект факта регистрации (не прямой эффект показа запроса) на суммарную выручку с пользователя за 47-дневное окно наблюдения.LATE · 2SLS, запрос как инструментальная переменная · n=75 723 · коэффициент 2,066, значим на уровне p<0,05 (точное значение p в источнике не приведено, Table 7) · Huang et al. 2021, collage.com, 2018
- 12,75% против 0,53%доля ушедших сразу после показа запроса (тест-группа против контроля)Необязательный запрос в начале воронки всё же отсеивает часть пользователей ещё до этапа просмотра товара — цена скрининга, которую надо сопоставлять с долгосрочным приростом.Описательный анализ декомпозиции воронки (Table 9) · n=37 127 (тест-группа) / 38 787 (контроль) · Huang et al. 2021, collage.com, 2018
Влияние на бизнес
- +58,08%Прирост вероятности регистрации при показе запроса (ITT)измерено в A/B-тесте, сравнение средних по группам, t=62,649, p<0,01, n=75 914 · Huang et al. 2021
- без измененийВлияние на краткосрочную конверсию (первые 24 часа)измерено там же, t=0,106, p=0,916 — показ запроса не портит немедленную покупку, но и не улучшает её
- ≈ 1 200 визитов/месЦена скрининга — доп. визиты, потерянные сразу при показе запросаперенос на профиль — 10 000 визитов × (12,75% тест-группы − 0,53% контроля); обе доли измерены в декомпозиции воронки, Huang et al. 2021
- +10,89% вероятность покупки / +16,76% заказов / +13,22% выручкаДолгосрочный эффект факта регистрации (LATE, 47 дней)измерено методом 2SLS, Huang et al. 2021 — относится только к пользователям, чья регистрация вызвана запросом (compliers), а не ко всему трафику; доля compliers в модельном профиле неизвестна, потому что источник не даёт абсолютной базовой ставки регистрации — перевести этот эффект в деньги на модельном профиле нельзя без придуманного числа
Денежная оценка по цепочке «показ запроса → доля новых регистраций → долгосрочная выручка» не сделана: источник даёт только относительный прирост регистрации (+58,08%) и LATE-эффекты для тех, кого запрос убедил зарегистрироваться, но не даёт абсолютной базовой ставки регистрации — без неё нельзя посчитать, сколько из 10 000 визитов профиля попадут в эту группу, и любое такое число было бы придумано, а не взято из источника. Краткосрочной выгоды нет вообще: конверсия в первые 24 часа не меняется (p=0,916), весь эффект — долгосрочный, в окне 47 дней. Выигрыш имеет цену: 12,75% посетителей тест-группы уходят сразу при показе запроса против 0,53% в контроле — это реальный отсев, а не гипотетический риск. Кроме того, 37–51% долгосрочного эффекта опосредовано e-mail-рассылками, которые получают только зарегистрированные пользователи: без работающей рассылки после регистрации расчёт не реализуется. Всё измерено на одном ритейлере (custom-print, США), в одной товарной категории, в мае 2018 года — перенос на другой сайт или период не гарантирован.