Ошибка всплывающим окном сразу после поля: повторных ошибок втрое больше
Модальное окно с ошибкой сразу при уходе из поля дало почти втрое больше повторных ошибок, чем проверка после отправки формы; на современную ненавязчивую инлайн-подсказку этот вывод не переносится.
Суть
Доказательства
- 2,0повторная ошибка в среднем на форму (SV)Проверка на сервере после отправки формы (страница перезагружается, ошибочные поля подсвечены разом) дала наименьшее число повторных ошибок.usability-test · n=77 (SV=18/JAIO=17/JOAT=19/JOBE=22) · F=18,416, p<0,01 · Bargas-Avila & Oberholzer, INTERACT 2003
- 1,58повторная ошибка в среднем на форму (JOAT)Показ ошибок по одной после отправки формы (JavaScript, без прерывания посреди заполнения) статистически неотличим от серверной проверки — тоже мало повторных ошибок.usability-test · n=77 (SV=18/JAIO=17/JOAT=19/JOBE=22) · F=18,416, p<0,01 · Bargas-Avila & Oberholzer, INTERACT 2003
- 6,12повторная ошибка в среднем на форму (JAIO)Модальное окно со всеми ошибками сразу после попытки отправить форму дало почти втрое больше повторных ошибок, чем серверная проверка.usability-test · n=77 (SV=18/JAIO=17/JOAT=19/JOBE=22) · F=18,416, p<0,01 · Bargas-Avila & Oberholzer, INTERACT 2003
- 5,73повторная ошибка в среднем на форму (JOBE)Модальное окно с ошибкой сразу при уходе из неверно заполненного поля дало почти втрое больше повторных ошибок, чем серверная проверка — участников раздражало прерывание, они закрывали окно, не исправив поле, и та же ошибка всплывала снова при отправке.usability-test · n=77 (SV=18/JAIO=17/JOAT=19/JOBE=22) · F=18,416, p<0,01 · Bargas-Avila & Oberholzer, INTERACT 2003
Влияние на бизнес
- 5,73 против 2,0 (≈ втрое)Повторные ошибки в форме — модальное окно сразу после ухода из поля vs проверка после отправкиизмерено в лабораторном юзабилити-эксперименте, дисперсионный анализ F=18,416, p<0,01, n=77 (Bargas-Avila & Oberholzer, INTERACT 2003)
- не измереноМетрики, на которые эффект может переноситься, но без числаконверсия чекаута, отказ от заполнения формы и обращения в поддержку — вероятные кандидаты по цепочке «больше повторных ошибок → больше раздражения → выше риск бросить форму», но доля пользователей, которые после повторной ошибки уходят, не измерена; брать такой коэффициент из других карточек базы нельзя
Денежный расчёт не сделан: измеренный и статистически значимый эффект выражен в числе повторных ошибок при заполнении формы, а не в конверсии, отказах или деньгах. Модельный профиль интернет-магазина (wiki/business-baselines.md) здесь не применяется — его параметры трафика и чека не участвуют ни в одном из показателей ниже, переводить ошибки в деньги не на чем без отдельно измеренной доли пользователей, бросающих форму после повторной ошибки. Эффект на время заполнения не значим (F=0,533, p>0,59) — авторы сами отклонили эту гипотезу, время в расчёт не берём. «Плохие» варианты (JAIO, JOBE) — это модальные всплывающие окна, требующие клика, а не сегодняшняя ненавязчивая инлайн-подсказка рядом с полем; переносить вывод на инлайн-валидацию нельзя. Эксперимент проведён в сентябре 2002 года — данным больше 20 лет.