Top.Mail.Ru
Заказать звонок
Телефон отдела продаж:
8 (800) 775-16-41
Наш e-mail:
mail@texterra.ru
Заказать услугу
Яндекс Метрика: как работают новые «Эксперименты» Редакция «Текстерры»
Редакция «Текстерры»

A/B-тест или Эксперимент сравнивает две версии сайта (исторически принято обозначать их как A и B). С помощью таких тестов можно проверить свои гипотезы и оценить предпочтения посетителей, чтобы принять решение: оставить ли все на сайте как есть или поменять. А если поменять, то так или сяк.

  • Обычно в ходе тестирования ставятся две гипотезы — нулевая и альтернативная. Нулевая предполагает, что A и B не отличаются или что A лучше B.
  • Альтернативная — что B отличается от A, и наша задача — сделать вывод об истинности этой гипотезы.

Раньше разные версии сайтов приходилось создавать и тестировать вручную или с помощью Google Optimize, сейчас такая возможность есть внутри Метрики.

Зачем нужны A/B-тесты

Глобально A/B-тесты могут помочь:

  • Проверять гипотезы. Если что-то на сайте не конвертит, можно очень долго менять весь дизайн. А/B-тесты помогают быстро ставить гипотезы и проверять их, не тратя кучу времени на редизайн.
  • Проверять экспертизу. Допустим, у вас есть штатный эксперт, который подсказывает, как что делать — A/B-тесты позволяют проверять такие утверждения и принимать решения не на основе интуиции или опыта, а на основе данных.
  • Узнавать аудиторию. A/B-тесты дают много данных о том, что нравится аудитории — это можно использовать в будущих проектах.

С помощью таких экспериментов можно тестировать разные элементы коммуникации на сайте: кнопки, заголовки и описания, формы обратной связи, картинки товаров, весь дизайн страницы и многое другое.

Продвинем ваш бизнес
Подробнее

Как использовать «Эксперименты»

До того, как создать тест (эксперимент), нужно подключить к своему сайту Яндекс.Метрику. Это бесплатно. Механизм подключения отличается для сайтов, созданных разными способами. Мы подробно расписали их в этом материале «Как использовать “Яндекс.Метрику”: подробное руководство для начинающих».

После того, как ваш сайт и Метрика связаны, можно создавать свой первый тест.

  1. Перейдите в во вкладку «Эксперименты». Если вы еще не использовали инструмент, рядом с ним в интерфейсе появится фиолетовая плашка — так что точно не потеряетесь.
Настройка A/B-теста в Яндекс.Метрике
  1. Скопируйте код и вставьте его на свой сайт:
Настройка A/B-теста в Яндекс.Метрике

Обычно подобные коды устанавливаются в раздел <head> вашего сайта, но все зависит от CMS. Мой сайт создан на конструкторе Tilda, поэтому доступа к коду у меня нет — я смогла пропустить этот шаг и перейти напрямую к созданию эксперимента.

  1. Создайте эксперимент, нажав большую желтую кнопку:
Настройка A/B-теста в Яндекс.Метрике
  1. Настройте эксперимент. Здесь все интуитивно: нужно заполнить название теста, эксперимента, выставить условия.
Настройка A/B-теста в Яндекс.Метрике

Дальше нужно заполнить еще несколько условий. URL-фильтр нужно заполнить, если эксперимент должен проходить только на части страниц сайта, а не на всем.

Настройка A/B-теста в Яндекс.Метрике

Дальше нужно указать метрику, на основе которой будем оценивать, какая из версий удачнее.

АльНастройка A/B-теста в Яндекс.Метрикетtt

Дальше нужно выбрать тип эксперимента — способ, которым вы будете вносить изменения в B-версию эксперимента. Самый простой способ — «Визуальный редактор».

Редактор встраивается в ваш сайт и позволяет менять внешний вид элементов. Все изменения применяются в реальном времени. После сохранения изменений и запуска эксперимента правки, которые вы сделали в редакторе, будут видны посетителям сайта, попавшим в эксперимент.

Настройка A/B-теста в Яндекс.Метрике

A — контрольный вариант, то есть, ваш сайт. B — вариант, в который вы будете вносить изменения :

Настройка A/B-теста в Яндекс.Метрике
  1. Проверьте, что изменения внеслись. В блоке «Проверка эксперимента» справа от блока с настройками у каждого из вариантов нажмите кнопку «Проверить»:
Настройка A/B-теста в Яндекс.Метрике

Готово. Когда выйдет время, на протяжении которого вы проводили эксперимент, вы получите отчет — рассказываем, как его анализировать.

Как анализировать данные эксперимента

На графике можно смотреть, в какие даты как себя вели разные версии сайта. Вот так будет выглядеть отчет (его первая часть):

Отчет по A/B-тесту в Яндекс.Метрике

Ниже — подробные цифры по метрикам, которые вы выбрали для отслеживания. Нас интересуют в основном первые три колонки — это метрики, которые мы выбрали для отслеживания. Зеленым подсвечены бОльшие показатели. В экспериментальном отчете видим, что B-версия выигрывает

Отчет по A/B-тесту в Яндекс.Метрике

Еще у отчета есть дополнительные метрики. Вот что о них написано в справке по отчету:

  • Дельта — разница между значениями метрики в экспериментальном и контрольном варианте.
  • Дельта (%) — дельта, выраженная как процент от значения метрики в контрольном варианте.
  • Доверительный интервал — изображение с доверительными интервалами для экспериментального и контрольного варианта на числовой оси.
  • P-value — основная численная характеристика результата работы статистического критерия. Означает вероятность получить такие же или более экстремальные результаты в предположении, что на самом деле значение метрики не поменялось.

Принятие гипотезы осуществляется сравнением P-value с уровнем значимости: P-value <= alpha. По умолчанию используется порог alpha = 0.05.

Важно понимать, что alpha задает вероятность ошибок первого рода (ложно-положительные срабатывания). При этом нецелесообразно делать alpha сильно низким, так как возрастает вероятность ошибок второго рода (ложно-отрицательные срабатывания) и увеличивается MDE.

  • MDE (%) — Minimum detectable effect. Минимальное изменение метрики, которое можно разглядеть при таком количестве данных и с вероятностью ошибок первого рода alpha = 0.05 и ошибок второго рода beta = 0.2. Выражено в процентах от значения метрики в контрольном варианте. Уменьшать MDE можно увеличением процента и длительности эксперимента.

Еще подробнее о разных способах подключить «Эксперименты» и о том, как создавать тест и читать отчет, можно узнать в Справке Яндекса.

Советы по проведению A/B-тестов

Иван Смирнов, руководитель проектов TexTerra:
«Экспериментальная проверка маркетинговых гипотез с помощью А/B тестирования — одна из составляющих нашей работы по комплексному продвижению в интернете.

Я бы рекомендовал запустить простой эксперимент, например сделать кнопку обратной связи крупнее (или ярче) и оставить текущую. Возможно, результаты этого эксперимента вас удивят».

  1. Продумайте заранее, что будете тестировать

Определите цель тестирования — опирайтесь при этом на основные бизнес-задачи компании.

  1. Определите одну главную метрику, за которой будете наблюдать

Нельзя наблюдать сразу и за конверсиями, и за глубиной просмотра страницы, и за CTR. Часто в качестве главной метрики берут коэффициент конверсии, но у вас это может быть и доля зарегистрированных пользователей, и CTR — все, что соотносится с бизнес-целями. Остальные метрики можно отслеживать, но как дополнительные. Но в целом, можно в целом на каждый фактор опираться, подтверждая гипотезу.

  1. Грамотно интерпретируйте результаты

Если выиграла версия A или обе версии показали одинаковый результат (нулевая гипотеза), можно оставить все как есть или углубиться в данные — почему B-версия не выиграла.

Если B выиграла, получается, что наша альтернативная гипотеза более удачна, чем A. Меняем на сайте то, что планировали менять, когда ставили гипотезу» .

Читайте также:

Как провести А/В тестирование: полный гайд по Google Optimize

Как писать тексты для посадочных страниц: шаблон и примеры

Как я повысила конверсию лендинга на 518 %

Продвинем ваш сайт

в поиске «Яндекса» и Google

Подробнее
Поделиться статьей:

Новое на сайте

29 мар 2024
82 699
Как отследить источники трафика на сайт

Чтобы не растратить весь бюджет на неэффективные каналы продвижения, после каждого запуска рекламы нужно анализировать данные.

29 мар 2024
266
Вывод нового продукта на рынок - инструкция для начинающих продавцов

Вот первые 12 шагов, чтобы запустить продукт и начать его продвижение.

29 мар 2024
3 502
Как работать с сангвиником и 4 способа продать ему что угодно

Все мы знаем о существовании таких типов темперамента, как сангвиник, холерик, флегматик и меланхолик. К каждому из них нужен свой подход в рекламе и продажах. Поговорим о сангвиниках – этих нетерпеливых и поспешных людях.

Смотреть все статьи

У вас есть деловой запрос? Давайте обсудим!

Оставьте свои контакты, мы свяжемся с вами в ближайшее время.

Нажимая на кнопку «Оставить заявку», вы подтверждаете свое согласие на обработку пользовательских данных

Спасибо!

Ваша заявка принята. Мы свяжемся с вами в ближайшее время.

Наш подход бустит продажи. Вы платите за результат!