A/B-тест или Эксперимент сравнивает две версии сайта (исторически принято обозначать их как A и B). С помощью таких тестов можно проверить свои гипотезы и оценить предпочтения посетителей, чтобы принять решение: оставить ли все на сайте как есть или поменять. А если поменять, то так или сяк.
- Обычно в ходе тестирования ставятся две гипотезы — нулевая и альтернативная. Нулевая предполагает, что A и B не отличаются или что A лучше B.
- Альтернативная — что B отличается от A, и наша задача — сделать вывод об истинности этой гипотезы.
Раньше разные версии сайтов приходилось создавать и тестировать вручную или с помощью Google Optimize, сейчас такая возможность есть внутри Метрики.
Зачем нужны A/B-тесты
Глобально A/B-тесты могут помочь:
- Проверять гипотезы. Если что-то на сайте не конвертит, можно очень долго менять весь дизайн. А/B-тесты помогают быстро ставить гипотезы и проверять их, не тратя кучу времени на редизайн.
- Проверять экспертизу. Допустим, у вас есть штатный эксперт, который подсказывает, как что делать — A/B-тесты позволяют проверять такие утверждения и принимать решения не на основе интуиции или опыта, а на основе данных.
- Узнавать аудиторию. A/B-тесты дают много данных о том, что нравится аудитории — это можно использовать в будущих проектах.
С помощью таких экспериментов можно тестировать разные элементы коммуникации на сайте: кнопки, заголовки и описания, формы обратной связи, картинки товаров, весь дизайн страницы и многое другое.
Как использовать «Эксперименты»
До того, как создать тест (эксперимент), нужно подключить к своему сайту Яндекс.Метрику. Это бесплатно. Механизм подключения отличается для сайтов, созданных разными способами. Мы подробно расписали их в этом материале «Как использовать “Яндекс.Метрику”: подробное руководство для начинающих».
После того, как ваш сайт и Метрика связаны, можно создавать свой первый тест.
- Перейдите в во вкладку «Эксперименты». Если вы еще не использовали инструмент, рядом с ним в интерфейсе появится фиолетовая плашка — так что точно не потеряетесь.
- Скопируйте код и вставьте его на свой сайт:
Обычно подобные коды устанавливаются в раздел <head> вашего сайта, но все зависит от CMS. Мой сайт создан на конструкторе Tilda, поэтому доступа к коду у меня нет — я смогла пропустить этот шаг и перейти напрямую к созданию эксперимента.
- Создайте эксперимент, нажав большую желтую кнопку:
- Настройте эксперимент. Здесь все интуитивно: нужно заполнить название теста, эксперимента, выставить условия.
Дальше нужно заполнить еще несколько условий. URL-фильтр нужно заполнить, если эксперимент должен проходить только на части страниц сайта, а не на всем.
Дальше нужно указать метрику, на основе которой будем оценивать, какая из версий удачнее.
Дальше нужно выбрать тип эксперимента — способ, которым вы будете вносить изменения в B-версию эксперимента. Самый простой способ — «Визуальный редактор».
Редактор встраивается в ваш сайт и позволяет менять внешний вид элементов. Все изменения применяются в реальном времени. После сохранения изменений и запуска эксперимента правки, которые вы сделали в редакторе, будут видны посетителям сайта, попавшим в эксперимент.
A — контрольный вариант, то есть, ваш сайт. B — вариант, в который вы будете вносить изменения :
- Проверьте, что изменения внеслись. В блоке «Проверка эксперимента» справа от блока с настройками у каждого из вариантов нажмите кнопку «Проверить»:
Готово. Когда выйдет время, на протяжении которого вы проводили эксперимент, вы получите отчет — рассказываем, как его анализировать.
Как анализировать данные эксперимента
На графике можно смотреть, в какие даты как себя вели разные версии сайта. Вот так будет выглядеть отчет (его первая часть):
Ниже — подробные цифры по метрикам, которые вы выбрали для отслеживания. Нас интересуют в основном первые три колонки — это метрики, которые мы выбрали для отслеживания. Зеленым подсвечены бОльшие показатели. В экспериментальном отчете видим, что B-версия выигрывает
Еще у отчета есть дополнительные метрики. Вот что о них написано в справке по отчету:
- Дельта — разница между значениями метрики в экспериментальном и контрольном варианте.
- Дельта (%) — дельта, выраженная как процент от значения метрики в контрольном варианте.
- Доверительный интервал — изображение с доверительными интервалами для экспериментального и контрольного варианта на числовой оси.
- P-value — основная численная характеристика результата работы статистического критерия. Означает вероятность получить такие же или более экстремальные результаты в предположении, что на самом деле значение метрики не поменялось.
Принятие гипотезы осуществляется сравнением P-value с уровнем значимости: P-value <= alpha. По умолчанию используется порог alpha = 0.05.
Важно понимать, что alpha задает вероятность ошибок первого рода (ложно-положительные срабатывания). При этом нецелесообразно делать alpha сильно низким, так как возрастает вероятность ошибок второго рода (ложно-отрицательные срабатывания) и увеличивается MDE.
- MDE (%) — Minimum detectable effect. Минимальное изменение метрики, которое можно разглядеть при таком количестве данных и с вероятностью ошибок первого рода alpha = 0.05 и ошибок второго рода beta = 0.2. Выражено в процентах от значения метрики в контрольном варианте. Уменьшать MDE можно увеличением процента и длительности эксперимента.
Еще подробнее о разных способах подключить «Эксперименты» и о том, как создавать тест и читать отчет, можно узнать в Справке Яндекса.
Советы по проведению A/B-тестов
Иван Смирнов, руководитель проектов TexTerra:
«Экспериментальная проверка маркетинговых гипотез с помощью А/B тестирования — одна из составляющих нашей работы по комплексному продвижению в интернете.
Я бы рекомендовал запустить простой эксперимент, например сделать кнопку обратной связи крупнее (или ярче) и оставить текущую. Возможно, результаты этого эксперимента вас удивят».
- Продумайте заранее, что будете тестировать
Определите цель тестирования — опирайтесь при этом на основные бизнес-задачи компании.
- Определите одну главную метрику, за которой будете наблюдать
Нельзя наблюдать сразу и за конверсиями, и за глубиной просмотра страницы, и за CTR. Часто в качестве главной метрики берут коэффициент конверсии, но у вас это может быть и доля зарегистрированных пользователей, и CTR — все, что соотносится с бизнес-целями. Остальные метрики можно отслеживать, но как дополнительные. Но в целом, можно в целом на каждый фактор опираться, подтверждая гипотезу.
- Грамотно интерпретируйте результаты
Если выиграла версия A или обе версии показали одинаковый результат (нулевая гипотеза), можно оставить все как есть или углубиться в данные — почему B-версия не выиграла.
Если B выиграла, получается, что наша альтернативная гипотеза более удачна, чем A. Меняем на сайте то, что планировали менять, когда ставили гипотезу» .
Читайте также:
Как провести А/В тестирование: полный гайд по Google Optimize