A/B тестирование сайта: как проверять гипотезы и не обманывать себя
A/B тест — единственный способ узнать, что реально работает, а не что нравится директору. Но неправильно проведённый тест хуже, чем его отсутствие.
Что тестировать в первую очередь
Порядок по силе влияния: оффер на первом экране, призыв к действию, структура и порядок блоков, длина формы, цена и способ её подачи. Цвет кнопки — в самом конце списка.
Начинайте с того, что видит каждый посетитель. Тестировать блок, до которого доскроллили пять процентов, бессмысленно.
Сколько нужно трафика
Главная проблема малого бизнеса: на 200 визитов в неделю статистически значимый результат не получить. Разница в две заявки — это шум, а не улучшение.
При небольшом трафике честнее тестировать крупные изменения — принципиально другой оффер, а не переформулировку — потому что только большой эффект заметен на малой выборке.
Правила корректного теста
Одна гипотеза за раз, иначе непонятно, что сработало. Тест идёт целыми неделями, чтобы захватить все дни: поведение в понедельник и субботу разное.
Не останавливайте тест в момент, когда вариант нравится. Это самая частая ошибка: выборка ещё не набрана, а решение уже принято.
Что делать при малом трафике
Вместо A/B — качественные методы: записи сессий, тепловые карты, опрос пяти реальных клиентов, почему они выбрали вас. Это даёт гипотезы быстрее и дешевле.
Часто выясняется, что проблема не в кнопке, а в том, что клиент не понял услугу или не нашёл цену.