Помогают ли отзывы получать заявки: как провести A/B-тест на сайте
Пошаговый план A/B-теста блока отзывов: гипотеза, целевое событие, контроль и вариант, расчет выборки и разбор результата.
Содержание
- Что именно можно проверить A/B-тестом
- Почему «до и после» — это не A/B-тест
- Выберите страницу и главное целевое действие
- Подготовьте контроль и вариант
- Протокол эксперимента
- До запуска оцените выборку и правила остановки
- Запустите тест и проверьте качество данных
- Как интерпретировать результат
- Что делать при малом трафике
- С чего начать
- Частые вопросы
Проверить это можно только на своем сайте: показать блок отзывов случайной половине посетителей, а второй половине не показывать, и сравнить долю отправленных заявок. Общие исследования говорят, что люди читают отзывы. Но для вашей страницы, вашей цены и вашей аудитории они ничего не доказывают. Ниже план такого теста: от гипотезы до решения, включая случай, когда результат неубедителен.
Сразу о главном ограничении: тесту нужен трафик. Чтобы заметить рост заявок с 3% до 4%, понадобится около 10 тысяч посетителей одной страницы. Если у вас столько не набирается за пару месяцев, начните с раздела «Что делать при малом трафике».
Если нужен контекст, зачем отзывы вообще ставят на сайт, он разобран в статье как отзывы могут влиять на конверсию. Здесь только методика проверки.
Что именно можно проверить A/B-тестом
Тест отвечает на узкий вопрос: меняется ли доля заявок, если выбранной аудитории на конкретной странице показать блок отзывов. Не «растут ли продажи от репутации» и не «нужны ли отзывы бизнесу». Один вопрос, одна страница.
Хорошая гипотеза выглядит так: «Если на странице записи в клинику добавить блок отзывов с ПроДокторов или Яндекс Медицина, доля посетителей, отправивших форму записи, изменится». Гипотеза специально говорит «изменится», а не «вырастет»: блок может и помешать, например сдвинуть форму ниже или замедлить загрузку.
Почему «до и после» — это не A/B-тест
Допустим, вы поставили отзывы в понедельник и сравнили заявки за две недели до и две недели после. Заявок стало больше. Вывод «это отзывы» ничем не подкреплен: за это время могли начать новую рекламную кампанию, наступить сезон, выйти акция.
Так же нельзя сравнивать два товара или две услуги, у одной из которых отзывов много, а у другой мало. Там разная цена, разный спрос и разные посетители. Связь такое сравнение покажет, причину — нет.
A/B-тест решает проблему случайным распределением: обе группы живут в одном и том же календаре, с теми же рекламными каналами и той же погодой. Различается только блок отзывов.
Выберите страницу и главное целевое действие
Начните со страницы, где посетитель принимает решение и где ему не хватает доверия: карточка услуги, страница врача или мастера, страница с ценами, форма записи. Варианты размещения блока разобраны в статье о том, где лучше разместить отзывы на сайте.
Что считать успехом, решите до запуска. Основной показатель один: доля посетителей, которые успешно отправили заявку. Если заявки проверяет менеджер, считайте подтвержденные: так из выборки уходят спам и случайные отправки.
Клик по кнопке и просмотр блока отзывов — не заявки. Это промежуточные шаги. Они помогают понять, почему результат такой. Человек может нажать на кнопку «Записаться» и закрыть форму, а может прокрутить страницу мимо отзывов и все равно оставить заявку.
| Тип | Что измеряем | Зачем |
|---|---|---|
| Основной | Доля посетителей с успешной отправкой формы (или подтвержденной заявкой) | По нему принимаем решение |
| Вспомогательные | Клики по кнопке заявки, дошедшие до блока отзывов, глубина прокрутки | Показывают, где посетитель остановился |
| Защитные | Скорость загрузки страницы, ошибки скриптов, отказы, доля заявок хорошего качества | Показывают, что вариант не ухудшил страницу |
Отправку формы нужно настроить как отдельное целевое событие в вашей системе аналитики. Например, в Яндекс Метрике для этого есть цели, а в Google Analytics — ключевые события. Подробная настройка аналитики с нуля не входит в эту статью; важно, чтобы событие срабатывало только после отправки формы.
Подготовьте контроль и вариант
Группа A (контроль) видит страницу как сейчас. Группа B (вариант) видит ту же страницу с блоком отзывов. Все остальное одинаково: заголовок, цена, предложение, форма, картинки, порядок блоков.
Соблазн поменять заодно и заголовок, и кнопку, и добавить отзывы велик. Не делайте этого: если заявок станет больше, вы не узнаете, что сработало. Для ответа про отзывы меняйте только их.
| Группа A (контроль) | Группа B (вариант) | |
|---|---|---|
| Страница | Текущая | Та же |
| Блок отзывов | Нет | Есть, в заранее выбранном месте |
| Заголовок, цена, предложение | Без изменений | Без изменений |
| Форма заявки | Та же | Та же |
| Мобильная версия | Проверена | Проверена, блок не сдвигает форму |
| Трафик | Из тех же каналов | Из тех же каналов, в равной доле |
Проверьте телефон: многие посетители приходят именно с него, и карусель, которая на десктопе выглядит аккуратно, на мобильном может занять три экрана. У виджета ReviewLab мобильная версия адаптивная и настраивается отдельно, так что оценить ее можно до запуска теста.
Для варианта B нужен блок, который подгружает отзывы с площадок. Например, виджет ReviewLab ставится вставкой кода, а один виджет можно разместить на любом числе страниц одного сайта.
Сам виджет посетителей на группы не делит: если код стоит на странице, отзывы видят все. Разделить трафик поможет сервис для A/B-тестов, например Вариокуб от Яндекса. Он работает вместе с Яндекс Метрикой: случайно распределяет посетителей, при повторных заходах показывает каждому тот же вариант и считает цели отдельно по группам. В настройках эксперимента блок отзывов скрывают для группы A.
Протокол эксперимента
Прежде чем запускать, заполните одну таблицу и не правьте ее до конца теста.
| Поле | Что записать |
|---|---|
| Гипотеза | Показ блока отзывов на странице X изменит долю подтвержденных заявок |
| URL | Адрес страницы |
| Аудитория | Все новые посетители с рекламных и органических каналов, десктоп и мобильные |
| A | Страница без блока отзывов |
| B | Та же страница с блоком отзывов под предложением |
| Основная метрика | Доля посетителей с успешной отправкой формы |
| Контрольные показатели | Скорость загрузки, ошибки скриптов, качество заявок |
| Выборка | Рассчитана заранее, на группу |
| Срок | Не меньше расчетной выборки и не меньше полных недель |
| Правило решения | Что делаем при росте, при снижении и при неопределенности |
До запуска оцените выборку и правила остановки
Типичная ошибка в тестах — запустить и смотреть на цифры каждый день, пока одна из групп не окажется впереди. Если остановиться в первый удачный день, вы примете случайный перекос за эффект.
Чтобы этого избежать, до старта рассчитайте нужный объем трафика в калькуляторе размера выборки, например в Evan's Awesome A/B Tools. Ему нужны пять входных данных:
- Базовая конверсия. Сколько процентов посетителей этой страницы сейчас отправляют заявку. Берите данные за несколько недель.
- Минимально полезный прирост. Наименьшая разница, ради которой имеет смысл держать блок на сайте. Это решает бизнес, статистика тут не подскажет.
- Уровень значимости. Допустимая вероятность увидеть эффект там, где его нет. Обычно 5%.
- Мощность. Вероятность заметить эффект, если он есть. Обычно 80%.
- Срок. Сколько недель займет набор нужного числа посетителей при вашем трафике.
Для иллюстрации: при базовой конверсии 3%, желании заметить рост до 4%, уровне значимости 5% и мощности 80% потребуется порядка 5 300 посетителей на каждую группу. Это условный пример для одного метода расчета; у вас цифры будут другими. Чем ниже базовая конверсия и чем меньше разница, которую вы хотите поймать, тем больше нужен трафик.
Правила остановки:
- Тест идет до расчетной выборки, а не до «красивой» разницы.
- Длительность кратна неделе: поведение посетителей в будни и выходные различается, и полная неделя выравнивает этот цикл.
- Не запускайте тест в период, который заведомо необычен для вас: распродажа, праздники, пик сезона, если только вы не хотите оптимизировать именно его.
- Не меняйте страницу, рекламные каналы и бюджеты в середине теста.
Запустите тест и проверьте качество данных
Прежде чем смотреть на разницу в заявках, убедитесь, что сам тест работает без сбоев.
- Распределение групп. Если вы планировали 50/50, а получилось 55/45 на большой выборке, это сигнал SRM (перекос в долях групп). Значит, что-то сломалось в разбивке: например, скрипт не срабатывает в некоторых браузерах. Результат такого теста нельзя считать надежным.
- Закрепление за вариантом. Один и тот же человек должен видеть один и тот же вариант при повторных заходах. Иначе вы смешаете группы.
- События заявок. Проверьте руками: отправьте тестовую заявку в каждом варианте и убедитесь, что событие записалось ровно один раз. Дубли и пропуски искажают основной показатель.
- Состояние страниц. Нет ли ошибок в консоли, не просела ли скорость загрузки в варианте B, корректно ли открывается блок на мобильных.
- Источники трафика. Доли каналов в группах должны быть близки. Если в B попало больше рекламного трафика, чем в A, сравнение нечестное.
Только когда все пять пунктов в порядке, переходите к анализу эффекта.
Как интерпретировать результат
Сравните две цифры. Абсолютная разница показывает, насколько процентных пунктов изменилась конверсия: было 3,0%, стало 3,6% — это плюс 0,6 пункта. Относительная разница — это те же 0,6 к исходным 3,0, то есть +20%. Относительные числа выглядят внушительнее, но решение лучше принимать по абсолютным и по их интервалу.
Доверительный интервал показывает диапазон, в котором, скорее всего, лежит настоящий эффект. Если он целиком выше нуля, вариант B лучше. Если целиком ниже нуля, хуже. Если включает ноль, данные не позволяют сказать ни того, ни другого.
| Исход | Что видим | Что делаем |
|---|---|---|
| Убедительный рост | Интервал разницы целиком выше нуля, защитные показатели в норме | Оставляем блок отзывов, при желании запускаем следующий тест: место, число отзывов, формат |
| Убедительное снижение | Интервал разницы целиком ниже нуля | Убираем блок, ищем причину: место, скорость, мобильная версия, содержание отзывов |
| Неопределенность | Интервал включает и пользу, и вред, либо выборка не набрана | Не делаем вывод; продлеваем до расчетной выборки или пересматриваем план |
Неубедительный результат еще не значит, что отзывы бесполезны. Он значит только, что на вашем трафике и за этот срок вы не смогли отличить эффект от шума. Посмотрите на интервал: если он показывает, что вред маловероятен, а польза возможна, блок можно оставить, но не стоит рассказывать, что тест это доказал.
Просмотрите вспомогательные метрики. Если до блока отзывов дошли многие, а заявок не прибавилось, проверьте содержание отзывов и место формы: дело может быть в них.
Что делать при малом трафике
Если на странице пять заявок в месяц, A/B-тест не окупится по сроку. Расчет выборки может показать, что нужен год, и к тому моменту сайт изменится.
В такой ситуации:
- Тестируйте на странице, где посетителей больше, или объедините похожие страницы, если у них одинаковая задача посетителя.
- Выбирайте более крупный эффект: сравнивать «с блоком» и «без блока» проще, чем два оформления блока.
- Собирайте качественные данные: спрашивайте клиентов, на что они опирались при выборе, смотрите записи сессий, замечайте, до какого места доходят посетители.
- Фиксируйте наблюдения как наблюдения. Рост заявок после добавления отзывов на малой выборке не доказывает причинность.
Когда эксперимент провести нельзя, такие наблюдения — единственный способ хоть что-то узнать.
С чего начать
Гипотезу, метрику и выборку стоит записать до запуска, а блок отзывов подготовить заранее. Вариант B можно собрать за вечер.
В ReviewLab есть 14 дней бесплатного пробного периода, карта при регистрации не нужна, а виджет ставится вставкой кода.
Попробовать ReviewLab 14 дней бесплатно
Частые вопросы
Можно ли измерять клики по кнопке вместо заявок?
Как вспомогательный показатель — да. Но если решать по кликам, можно оставить блок, который заявок не прибавил: часть нажавших закрывает форму, так и не отправив ее.
Сколько должен длиться A/B-тест отзывов?
Пока не наберется заранее рассчитанная выборка, и с учетом полных недель. Универсального срока нет: он зависит от трафика и базовой конверсии.
Что означает отсутствие статистически убедительной разницы?
Только то, что данных недостаточно, чтобы отличить эффект от случайности. Это не доказательство нулевого эффекта. Смотрите на диапазон возможного эффекта и достаточность данных.
Можно ли тестировать сразу и отзывы, и новый заголовок?
Лучше по очереди: сначала отзывы, потом заголовок отдельным тестом. Тест с двумя изменениями сразу покажет только, что их сочетание лучше или хуже исходной страницы.
Что делать, если заявок слишком мало для теста?
Не обещайте себе точный вывод. Соберите больше данных, выберите реалистичный горизонт или используйте другой метод: интервью с клиентами, анализ записей сессий.