Что такое A/B-тест
A/B-тест — способ перестать спорить о заголовках, кнопках и ценах. Трафик делится случайным образом: часть видит текущий вариант (контроль), часть — изменённый. Сравнивается одна метрика — конверсия в заявку, в оплату, стоимость лида. Если разница подтверждается статистически, изменение внедряют для всех.
Тестировать можно не только сайт: заголовки и креативы в рекламных кампаниях, тему и время рассылки, скрипт первого звонка, цену и состав оффера. Для сайтов используют сервисы сплит-тестирования или собственную реализацию с разметкой вариантов в Яндекс Метрике, для рекламы — параллельные объявления в одной группе и эксперименты в Яндекс Директе, для продаж — распределение лидов между менеджерами с разными скриптами.
Как проводить
- Сформулировать гипотезу: что меняем, на какую метрику это повлияет и почему. «Поменяем кнопку» — не гипотеза; «вынесем цену в первый экран, чтобы отсеять нецелевых и поднять конверсию в квалифицированную заявку» — гипотеза.
- Выбрать одну целевую метрику и определить, какой размер выборки нужен, чтобы заметить ожидаемую разницу, — калькуляторы размера выборки есть в открытом доступе.
- Изменять одно в каждом варианте. Если меняются заголовок, оффер и форма разом, непонятно, что сработало.
- Запустить варианты одновременно на одинаковый трафик и не останавливать тест раньше срока, даже если один «уже выигрывает».
- Оценить результат по целевой метрике и статистической значимости; проверить, что победитель не ухудшил следующий этап воронки — например, заявок больше, а сделок меньше.
- Внедрить, зафиксировать результат и следующую гипотезу.
Пример
Условный пример. Лендинг онлайн-курса, тест формы заявки: вариант А — телефон и e-mail, вариант Б — только телефон. На каждый вариант — по 5 000 визитов.
| Вариант | Визиты | Заявки | CR в заявку | Оплаты | CR из заявки в оплату |
|---|---|---|---|---|---|
| А: телефон и e-mail | 5 000 | 150 | 3,0% | 30 | 20,0% |
| Б: только телефон | 5 000 | 210 | 4,2% | 33 | 15,7% |
Вариант Б даёт на 40% больше заявок и на 10% больше оплат — внедрять, но план по конверсии в оплату для отдела продаж пересмотреть: заявки стали менее тёплыми. Если бы решение принималось только по заявкам, разница выглядела бы впечатляющей; по оплатам она скромнее, но в плюс. Без второй половины таблицы тест можно было бы «выиграть» и потерять деньги.
Типичные ошибки
- Останавливать тест, когда один вариант вырвался вперёд на первых десятках конверсий, — результат случайный.
- Запускать варианты последовательно, а не параллельно: сезон, день недели и рекламные кампании меняются.
- Тестировать мелочи вроде цвета кнопки на малом трафике — разницу не заметить никогда; на небольших объёмах тестируют оффер, цену, структуру первого экрана.
- Измерять по клику и заявке, не доходя до сделки в CRM.
- Проводить несколько тестов на одной странице одновременно и не понимать, что на что повлияло.
- Не документировать: через полгода команда повторяет тот же тест.
Как мы применяем A/B-тесты
Тесты у нас привязаны к воронке и к деньгам: гипотезы берутся из аналитики (где теряется больше всего) и из интервью с клиентами, результат измеряется по заявкам и сделкам через сквозную аналитику. На небольших объёмах трафика тестируем крупные изменения — оффер, структуру первого экрана, форму, — а не оттенки.
В рекламных кампаниях тесты креативов и заголовков идут постоянно: это часть еженедельной работы над CTR и стоимостью заявки.
Мнение арт-директора, собственника и маркетолога — только гипотезы. Решает выборка и цифры по сделкам.
