12 революционных советов по проведению A/B-тестов

Редакция «Текстерры»

Совет №1: используйте научный метод

Сплит-тестирование в интернет-маркетинге имеет много общего с научными исследованиями. В частности, фармацевты часто исследуют эффективность новых лекарств, объединяя добровольцев в две группы — экспериментальную и контрольную. Чтобы результаты A/B-теста были валидными, проводите его в соответствии с научным подходом.

Следующие рекомендации помогут вам провести сплит-тестирование с использованием научного метода:

• Задайте вопрос, обозначающий проблему. Например, спросите, почему коэффициент конверсии вашего интернет-магазина составляет 0,5%, когда у конкурентов этот показатель достигает 1,5%.
• Исследуйте обозначенную проблему. Используйте Google Analytics или другие инструменты веб-аналитики, чтобы определить точки входа и выхода посетителей, время пребывания на сайте и другие особенности поведения. На данном этапе вы должны понять, как ведет себя аудитория, а также предположить причины данного поведения.
• Сформулируйте гипотезу. Опираясь на данные, полученные на предыдущем этапе, предположите, как можно добиться желаемого результата. Допустим, с помощью Google Analytics вы установили, что большинство клиентов читает описание товаров, но не переходит на страницу оформления заказов. В этом случае гипотезу можно сформулировать так: коэффициент конверсии вырастет в два раза, если увеличить размер конверсионной кнопки и выделить ее красным цветом.
• Экспериментально проверьте гипотезу. Проведите A/B-тест, в ходе которого половина посетителей направляется на новый вариант посадочной страницы с большой конверсионной кнопкой красного цвета.
• Оцените результаты эксперимента. Собрав достаточное количество данных, оцените, подтвердилась ли ваша гипотеза. Если после увеличения размеров конверсионной кнопки и выделения ее цветом конверсия выросла с 0,5% до 1% или более, гипотеза верна. Если конверсия осталась на прежнем уровне или упала, гипотеза не подтвердилась. В отличие от ученых, интернет-маркетологи могут позволить себе вольности при оценке результатов эксперимента. Если коэффициент конверсии вырос с 0,5% до 0,8%, считайте, что гипотеза подтвердилась, хоть конверсия выросла менее чем в два раза. Проведите серию дополнительных экспериментов, чтобы достичь желаемого результата.
• Зафиксируйте результаты эксперимента, сделайте выводы и объявите их коллегам.

Если в ходе A/B-теста гипотеза подтверждается, вы можете внедрять соответствующие изменения и переходить к новым экспериментам.

Совет №2: собирайте достаточно данных

Какой должна быть величина выборки при проведении сплит-тестирования? Ответ на этот вопрос зависит от особенностей вашего проекта. Основными характеристиками, необходимыми для определения продолжительности эксперимента, являются среднемесячная посещаемость сайта и стоимость вашего продукта. Однако и тут не существует каких-либо конкретных ориентиров, поэтому вам придется опираться на закономерности.

Во-первых, чем выше средняя посещаемость ресурса, тем более продолжительным должен быть эксперимент. Если аудитория вашего интернет-магазина косметики составляет 50 000 уникальных посетителей в месяц, в тестировании должны принять участие несколько тысяч человек.

Во-вторых, чем дороже ваш продукт и чем меньше конверсий вы получаете, тем меньше посетителей нужно для проведения эксперимента. Например, если вы продаете дорогостоящее промышленное оборудование и заключаете не более 100 сделок в год, для оценки эксперимента достаточно нескольких сотен посетителей или 10 конверсий.

Совет №3: отсекайте шум

Шум — это любые нетипичные факторы, которые искажают ход вашего эксперимента. Представьте себе следующую ситуацию: вы начинаете сплит-тестирование и рассказываете об этом в гостевой статье для популярного блога. Его аудитория интересуется вашим экспериментом и переходит по ссылке на ваш сайт. Из-за этого в течение нескольких дней посещаемость вашего сайта увеличивается на 90%.

В таких условиях ваш A/B-эксперимент не принесет валидного результата, если читатели блога не входят в ядро вашей целевой аудитории. Переходы с соответствующего блога являются шумом, искажающим результаты сплит-тестирования. Поэтому их необходимо отсекать. Большинство инструментов для проведения A/B-тестов позволяют не учитывать при тестировании посетителей с выбранных источников.

Совет №4: получайте обратную связь

Изучайте и учитывайте мнение ваших потребителей, планируя A/B-тестирование. Например, если вы создаете новый слоган и планируете протестировать несколько вариантов, сначала получите обратную связь от пользователей. Спросите, как они оценивают ваш продукт, какие задачи решают с его помощью и т.п. Это даст вам много идей и позволит создать слоганы, соответствующие ожиданиям покупателей.

Компания HubSpot проводила эксперимент, в ходе которого изменения в посадочную страницу вносили представители целевой группы. Коэффициент конверсии действительно вырос, хоть и незначительно.

Совет №5: тестируйте юзабилити

Тестирование юзабилити — один из лучших инструментов поиска проблем, с которыми сталкиваются посетители вашего сайта. Поэтому старайтесь активно его использовать.

Например, если вы хотите повысить эффективность работы интернет-магазина, то попробуйте найти и устранить факторы, мешающие посетителям искать нужные товары и оформлять заказы. Для этого установите конкретные задачи, например, поиск и покупку определенного товара. С помощью эксперимента определите, как посетители ищут этот товар, какие ключевые фразы и виджеты они используют, не отвлекаются ли они на всплывающие подсказки или предложения подписаться на рассылку и т.п.

Если вы определите, что всплывающие подсказки действительно мешают пользователям оформлять заказ, проведите дополнительное тестирование. Предложите аудитории воспользоваться сайтом после удаления препятствия и проверьте динамику конверсий.

Совет №6: используйте поиск по сайту в качестве источника идей

Поиск по сайту подсказывает вам намерения и потребности пользователей. Если посетители постоянно вводят в поисковую строку одинаковые слова, например, «прайс» или «цена», подумайте, не пора ли «повесить» соответствующий контент на самое видное место.

Также поиск по сайту позволяет убедиться, что вы говорите с пользователями на одном языке. Представьте, что вы продаете программное обеспечение. Если каждый второй пользователь вводит в поиск фразу «программы для очистки компьютера», возможно, вам стоит изменить название раздела «Софт для оптимизации системы»?

Совет №7: оптимизируйте наиболее популярные пути конверсии

Используйте Google Analytics, чтобы определить пути на сайте, которые чаще всего используют ваши покупатели. Это поможет определить участки пользовательских маршрутов, на которых потенциальные потребители чаще всего останавливаются и покидают сайт.

Получив эти данные, вы сможете исправить ситуацию. Это можно сделать, добавив призывы к действию, удалив лишние опции меню, изменив дизайн страниц и т.п.

Совет №8: не бойтесь перевернуть все с ног на голову

Выполняя сплит-тестирование, маркетологи часто ограничиваются изменением цвета и размера конверсионной кнопки, переписыванием заголовка или текста. Подобные изменения легко выполняются и немедленно приносят результат.

Однако если вы действительно хотите вывести проект на новый уровень работы, попробуйте более масштабные новинки (для вдохновения очень рекомендуем почитать вот эту статью). Только не спешите полностью менять дизайн страницы или внедрять сразу несколько новых элементов. В этом случае вы просто не поймете, что именно приносит вам успех или неудачу.

Вместо этого проведите сплит-тест, который значительно меняет поведение аудитории. Например, увеличьте срок бесплатного тестового использования вашего продукта или удалите страницы категорий товаров с сайта интернет-магазина. Подобные эксперименты не только влияют на конверсию, но и позволяют определить дополнительные потребности и предпочтения аудитории.

Совет №9: используйте принцип Парето

Согласно закону Парето, 20% усилий приносят вам 80% результата. Это можно использовать для повышения конверсии с помощью A/B-тестов.

Представьте, что ваш сайт состоит из 10 страниц. Две из них получают 80% трафика. Сфокусируйтесь на этих страницах. Проведите столько сплит-тестов, сколько потребуется для достижения целевого уровня конверсии на этих страницах. Только потом приступайте к оптимизации следующих страниц.

Совет №10: проверяйте несколько гипотез одновременно

Стандартный A/B-тест предполагает проверку простой гипотезы. Например, вы можете предполагать, что изменение цвета конверсионной кнопки увеличит коэффициент конверсии. Для проверки этой гипотезы вы направляете трафик на базовую и экспериментальную страницы.

Вы можете значительно сэкономить время, проверяя несколько гипотез одновременно. Например, попробуйте увеличить конверсию с помощью нового цвета кнопки, изменения расположения конверсионной формы, различных вариантов призывов к действию и т.п. Для этого вам придется создать несколько экспериментальных страниц и разделить трафик между ними и базовой страницей.

Совет №11: проверяйте реакцию на изменение цены

Цена продукта — один из наиболее важных факторов, влияющих на конверсию. Каждый бизнес рано или поздно сталкивается с необходимостью повысить цены. Однако повышение цен практически всегда приводит к временному сокращению продаж.

Чтобы проверить, как ваша аудитория реагирует на повышение цен, проведите холостой A/B-эксперимент. Создайте тестовую страницу продуктов, указав на ней новые цены. Однако при переходе на страницу оформления заказа пользователь должен видеть старую цену продукта. Если число добавлений товара в корзину на экспериментальной странице не отличается от аналогичного показателя на базовой странице, смело повышайте цены.

Совет №12: не копируйте чужой опыт

Копирование чужого опыта, даже очень успешного, — худший способ проведения сплит-тестов. Ваш бизнес отличается от бизнеса коллег и конкурентов, даже если вы используете одинаковую бизнес-модель и заказывали дизайн сайта в одной студии.

Изменение цвета конверсионной кнопки может увеличить конверсию сайта «Связного» или «Евросети». А вы можете целый год биться, пробуя разные цвета, но не добьетесь статистически значимых изменений. Дело в том, что каждая гипотеза формулируется после изучения проблемы, о чем шла речь в первом совете. Возможно, пользователи не замечают вашей конверсионной кнопки не из-за цвета, а из-за неудачного расположения. Какая разница, какого цвета кнопка, если посетитель должен прокрутить три экрана, чтобы ее увидеть?

Как добиться успеха, проводя сплит-тест

Реализуя сплит-тестирование, старайтесь самостоятельно находить серьезные проблемы и формулировать гипотезы. Помните, стандартные A/B-тесты похожи на фастфуд. Гамбургер спасет вас от голода, но его постоянное употребление чревато серьезными последствиями.

Используйте описанные выше советы, чтобы разнообразить подходы к оптимизации страниц и находить нестандартные гипотезы. Благодаря этому вы сможете постоянно повышать эффективность работы своего проекта.

Адаптация материала 12 Game-Changing A/B Testing Tips for 2014.