Что такое A/B-тестирование и как его проводить

Бизнес не стоит на месте – чтобы выжить, нужно развиваться.

*Обновление статьи

Если остановить этот процесс, проект начнет деградировать. Часто приходится что-то менять – расширять ассортимент, увеличивать рекламный охват аудитории, улучшать дизайн сайта, добавлять новый, повышать конверсию. Как узнать заранее, что принесут эти новшества?

Одни из инструментов, помогающий развитию веб-проектов – A/B-тестирование. С его помощью можно проверить свои гипотезы и экспериментально оценить предпочтения посетителей – чтобы принять решение о том, стоит ли что-то менять или лучше оставить как есть.

Рассказываем, как это работает.

Правильная организация A/B-тестирования помогает избежать неудачи

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing — раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию. Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование — это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Изменение цвета кнопки увеличило конверсию. Теперь можно искать способы улучшить страницу B

Что тестировать

Как отмечалось выше, сплит-тестирование — это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

• Текст и внешний вид конверсионных кнопок, а также их расположение.
• Заголовок и описание продукта.
• Размеры, внешний вид и расположение конверсионных форм.
• Макет и дизайн страницы.
• Цену товара и другие элементы бизнес-предложения.
• Изображения товаров и другие иллюстрации.
• Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных инструментов. Один из наиболее востребованных – сервис Google «Оптимизация» (до августа 2019 назывался Content Experiments), который является теперь частью новой платформы для маркетологов Google Marketing Platform. С его помощью можно тестировать элементы страниц, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т. п. «Оптимизация» бесплатна для малого бизнеса и в этом ее большое преимущество по сравнению с конкурентами.

Также можно использовать для проведения сплит-тестирования следующие инструменты:

• Optimizely — наиболее популярный в «буржунете» платный сервис A/B-тестирования. Стоимость его использования не публикуется – для уточнения нужно связаться с отделом продаж. К преимуществам относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
• Visual Website Optimizer — платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость месячной подписки VWO составляет от 99 до 999 долларов.
• Unbounce – сервис, предназначенный для создания и оптимизации лэндингов. В том числе он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 79 до 399 и более долларов в месяц. Является аналогом отечественного LPGenerator и тоже позволяет тестировать только лэндинги, сделанные в нем самом.

Как провести A/B-тестирование с помощью Google Optimize

Сервис «Оптимизация» Google Marketing Platform позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, можно проводить A/B/N-тестирование, которое отличается от стандартных A/B-экспериментов проверкой сразу несколько гипотез вместо двух.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Результаты можно наблюдать в личном кабинете или получить по e-mail.

Чтобы провести сплит-тестирование с помощью «Оптимизации» сделайте следующее:

1. Войдите в аккаунт Google Marketing Platform, откройте сервис «Оптимизация» и создайте свой первый проект. Дайте ему название, укажите URL базовой страницы, копии которой будут тестироваться и выберите режим «Эксперимент A/Б».

Создайте проект оптимизации и выберите тип эксперимента

2. Зайдите в созданный проект и продолжайте его настройку в соответствии с планом, предлагаемым в подсказке. Последовательно выполните все пункты от 1 до 5.

Перейдите к настройке проекта

3. Сначала создайте экспериментальные варианты и добавьте правила таргетинга. Для работы установите в браузер Chrome расширение «Оптимизация» из официального магазина Google. Оно позволяет визуально отредактировать изменения на страницах.

Вариант 1 – серый фон заголовка h1

4. Укажите, при переходе на какие URL пользователь будет видеть измененные варианты страницы. Можно задать несколько условий проверки. Главное, не забыть их сразу протестировать, чтобы не было ошибки.

Все в порядке – правило работает для этого адреса

5. Настройте целевую аудиторию. Например, изменения на странице будут показаны только посетителям из Москвы.

Выберите посетителей, которым покажут изменения

6. Выберите стандартные или создайте собственные цели эксперимента. Они должны быть связаны с Google Аnalitics.Например, нас может заинтересовать в виртуальном эксперименте, как зависит количество просмотренных статей блога от цвета фона заголовка h1 на главной. Исследуем, серый или фисташковый?

Цель исследования – общее количество просмотренных страниц, на которые перешли с главной

7. Все готово, осталось только создать код эксперимента и вставить его на страницу. Если непонятно как это сделать, можно выбрать опцию «Отправить код веб-мастеру» или сделайте это самостоятельно. Но для этого нужно немного разбираться в HTML.

Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. А значит, выбираем 3 %.

Ограничиваем трафик, который участвует в эксперименте

8. Если все сделано правильно, в меню появится сообщение о том, что проект готов к запуску и будет разблокирована кнопка «Ок».

Готово, можно начинать эксперимент

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью A/Б-тестирования

Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон заголовка главной страницы, как в прошлом примере.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

• Используйте конверсионную форму, которая остается перед глазами посетителя при прокрутке страницы. Например, эта форма может быть неподвижно «прикручена» к верхней части экрана, как навигационное меню Facebook.

Меню навигации остается неподвижным при прокрутке

• Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
• Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
• Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
• Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
• Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

A/Б тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. После этого следует воспользоваться одним из сервисов для проведения экспериментов, например, «Оптимизацией» Google. Оценку результатов можно проводить как минимум через две недели после его запуска.

Кстати, экспериментальная проверка маркетинговых гипотез с помощью А/Б тестирования – одна из составляющих работ по комплексному продвижению в интернете от TexTerra.

Лучшие советы по А/Б-тестированию лендингов

1. Одно тестирование – одна гипотеза. Если вы будете одновременно тестировать несколько гипотез, например, более короткий текст лендинга и более яркая кнопка призыва к действию, вы никогда не поймете, что конкретно повлияло на результат.
2. Длительность эксперимента зависит от количества трафика. Если тестируемую страницу ежедневно посещает 1000 человек, вы с большой долей вероятности сможете получить достоверные результаты уже через 1-2 недели. Если же ваш трафик составляет 100 человек в день, длительность эксперимента должна составлять не менее 1 месяца. Если у вас мало опыта в проведении А/Б-тестов и вы не можете самостоятельно подсчитать необходимое для их проведения время, воспользуйтесь следующим калькулятором:

1. Ваша конверсия на данный момент
2. На сколько процентов вы хотите улучшить конверсию (минимум)

3. Количество комбинаций

   Здесь небольшое пояснение, что такое комбинация? Допустим, вы хотите протестировать заголовок и текст. В заголовке вы хотите изменить его текстовку, размер и цвет шрифта. А в тексте – его длину и более крупный шрифт. Итого у вас получится 3 х 2 = 6 комбинаций. Если вы планируете протестировать одну гипотезу (как и рекомендуется делать), в это окошко вписываем единицу.

4. Среднее количество посетителей в день
5. Процент посетителей, принимающих участие в тесте
6. Длительность теста (в днях)
7. Посчитать

3. Создайте план тестирований. Несмотря на то, что этот совет кажется весьма банальным, многие компании этого не делают. Они бросаются с головой в многочисленные эксперименты, не имея при себе никакой внятной стратегии.
4. Сведите к минимуму количество действий, которые могут повлиять на результат. В период тестирования не делайте массовых имейл-рассылок, не проводите конкурсов и любых других действий, которые могут сильно повлиять на трафик тестируемой страницы. Постарайтесь избегать тестов во время праздников и сезонных застоев, характерных для вашего бизнеса.
5. Почитайте кейсы по А/Б-тестам. Несмотря на то, что большинство кейсов публикуются в коммерческих целях, вы все равно можете почерпнуть оттуда много полезного. Нам, например, очень помог в свое время вот этот набор кейсов.
6. Ни в коем случае не используйте редиректы, чтобы показывать пользователям разные страницы. Это может привести к наказанию от Гугла. Для проведения А/Б-тестов воспользуйтесь специально созданными для этого инструментами: Google Experiments или тот же Visual Website Optimizer. Эти сервисы используют Java Script и куки, что не противоречит требованиям поисковика.
7. Посмотрите, что делают конкуренты. Если вы знаете как проводится А/Б-тестирование (а вы точно знаете, если читали нашу статью), вы без труда сможете определить, ведется оно на сайте или нет. Запущенный А/Б-тест выдает измененный адрес страницы (если вы попадаете на второй вариант страницы, там отобразятся дополнительные символы типа www.сайт/лендингJgvnljuUOOhvfcdx) и наличие новых элементов. Постарайтесь выяснить, как долго проводили тест ваши конкуренты, какая страница в итоге победила, что в ней было изменено.
8. Создавайте разные лендинги под разные источники трафика. Лендинги, на которые попадают с поиска, и лендинги, на которые попадают с контекста могут быть (и в идеале должны быть) разными. Если вы будете использовать один лендинг для обоих каналов, вы заметите, что конверсия из органики значительно превышает конверсию из контекста, или наоборот.
9. Не делайте поспешных выводов. Проанализируйте полученные результаты. Почему одна страница показала больший уровень конверсии, чем вторая? Вы уверены, что на это повлияло ваше изменение? Может быть, сюда затесалась ошибка? Например, вы слишком рано закончили тест или не обратили внимание на какой-то мелкий, с первого взгляда незначительный нюанс.
10. Всегда берите в расчет страну проживания ваших посетителей. Есть мнение, что китайцы любят, чтобы было побольше текста. Лендинги, которые привыкли видеть американцы, точно будут отличаться от лендингов, которые нравятся европейцам. Выясните, какие лендинги пользуются спросом в стране большинства ваших пользователей и возьмите эту информацию за основу.
11. Не бойтесь изменений. Иногда ваши эксперименты будут приводить к тому, что вы полностью переделаете свой лендинг. Не пугайтесь этого. Главная цель посадочной страницы – конвертировать трафик, и поверьте, здесь все методы хороши.
12. Не доверяйте экспертам. Нет, дело не в том, что их рекомендации неверны. Просто все нужно проверять на практике. Ведь то, что принесло успех другим, не значит, что принесет такой же успех и вам.
13. Тестируйте связки страниц. Так если после приземления на ваш лендинг пользователь кликает по призыву к действию и попадает на страницу регистрации, необходимо тестировать обе страницы.
14. Пользуйтесь калькулятором для определения победителя. Представьте, вы протестировали две страницы и получили вот такие результаты: страница А, 2500 визитов, достигнуто 10 целей – страница В, 2300 визитов, достигнуто 9 целей. Здесь сложно сказать, какая страница победила. В этом случае можно использовать вот такой калькулятор:

1. Количество визитов
2. Количество достижений цели
3. P-значение
4. Новый вариант лучше? (да/нет)
5. Подсчитать
6. Исходный вариант
7. Новый вариант

15. Не зацикливайтесь на конверсии. Отслеживайте и другие метрики: время, проведенное на странице, показатель отказов, ошибки в заполнении полей формы регистрации и т.д. Эта информация поможет вам определить, что вы делаете так, а над чем еще нужно поработать.
16. Не останавливайтесь на достигнутом. Если вы создали свой лендинг по всем правилам, вряд ли даже самое удачное А/Б-тестирование приведет к резкому увеличению конверсии. Однако это не значит, что на этом нужно останавливаться. Повышение конверсии даже на доли процентов – это прямое увеличение вашей прибыли. К тому же, правила быстро устаревают, и вам просто необходимо время от времени проверять их эффективность.

Читайте также:

• 62 переменных для А/Б-тестирования
• 12 примеров великолепных лендингов: черпаем вдохновение у профессионалов
• Как выбрать наиболее отвечающий вашим задачам вариант текста для сайта?