Реклама в ПромоСтраницах – запустим быстро!

Заказать звонок
Телефон отдела продаж:
8 (800) 775-16-41
Наш e-mail:
mail@texterra.ru
Заказать услугу
Яндекс Метрика: как работают новые «Эксперименты» Редакция «Текстерры»
Редакция «Текстерры»

A/B-тест или Эксперимент сравнивает две версии сайта (исторически принято обозначать их как A и B). С помощью таких тестов можно проверить свои гипотезы и оценить предпочтения посетителей, чтобы принять решение: оставить ли все на сайте как есть или поменять. А если поменять, то так или сяк.

  • Обычно в ходе тестирования ставятся две гипотезы — нулевая и альтернативная. Нулевая предполагает, что A и B не отличаются или что A лучше B.
  • Альтернативная — что B отличается от A, и наша задача — сделать вывод об истинности этой гипотезы.

Раньше разные версии сайтов приходилось создавать и тестировать вручную или с помощью Google Optimize, сейчас такая возможность есть внутри Метрики.

Зачем нужны A/B-тесты

Глобально A/B-тесты могут помочь:

  • Проверять гипотезы. Если что-то на сайте не конвертит, можно очень долго менять весь дизайн. А/B-тесты помогают быстро ставить гипотезы и проверять их, не тратя кучу времени на редизайн.
  • Проверять экспертизу. Допустим, у вас есть штатный эксперт, который подсказывает, как что делать — A/B-тесты позволяют проверять такие утверждения и принимать решения не на основе интуиции или опыта, а на основе данных.
  • Узнавать аудиторию. A/B-тесты дают много данных о том, что нравится аудитории — это можно использовать в будущих проектах.

С помощью таких экспериментов можно тестировать разные элементы коммуникации на сайте: кнопки, заголовки и описания, формы обратной связи, картинки товаров, весь дизайн страницы и многое другое.

Продвинем ваш бизнес
Подробнее

Как использовать «Эксперименты»

До того, как создать тест (эксперимент), нужно подключить к своему сайту Яндекс.Метрику. Это бесплатно. Механизм подключения отличается для сайтов, созданных разными способами. Мы подробно расписали их в этом материале «Как использовать “Яндекс.Метрику”: подробное руководство для начинающих».

После того, как ваш сайт и Метрика связаны, можно создавать свой первый тест.

  1. Перейдите в во вкладку «Эксперименты». Если вы еще не использовали инструмент, рядом с ним в интерфейсе появится фиолетовая плашка — так что точно не потеряетесь.
Настройка A/B-теста в Яндекс.Метрике
  1. Скопируйте код и вставьте его на свой сайт:
Настройка A/B-теста в Яндекс.Метрике

Обычно подобные коды устанавливаются в раздел <head> вашего сайта, но все зависит от CMS. Мой сайт создан на конструкторе Tilda, поэтому доступа к коду у меня нет — я смогла пропустить этот шаг и перейти напрямую к созданию эксперимента.

  1. Создайте эксперимент, нажав большую желтую кнопку:
Настройка A/B-теста в Яндекс.Метрике
  1. Настройте эксперимент. Здесь все интуитивно: нужно заполнить название теста, эксперимента, выставить условия.
Настройка A/B-теста в Яндекс.Метрике

Дальше нужно заполнить еще несколько условий. URL-фильтр нужно заполнить, если эксперимент должен проходить только на части страниц сайта, а не на всем.

Настройка A/B-теста в Яндекс.Метрике

Дальше нужно указать метрику, на основе которой будем оценивать, какая из версий удачнее.

АльНастройка A/B-теста в Яндекс.Метрикетtt

Дальше нужно выбрать тип эксперимента — способ, которым вы будете вносить изменения в B-версию эксперимента. Самый простой способ — «Визуальный редактор».

Редактор встраивается в ваш сайт и позволяет менять внешний вид элементов. Все изменения применяются в реальном времени. После сохранения изменений и запуска эксперимента правки, которые вы сделали в редакторе, будут видны посетителям сайта, попавшим в эксперимент.

Настройка A/B-теста в Яндекс.Метрике

A — контрольный вариант, то есть, ваш сайт. B — вариант, в который вы будете вносить изменения :

Настройка A/B-теста в Яндекс.Метрике
  1. Проверьте, что изменения внеслись. В блоке «Проверка эксперимента» справа от блока с настройками у каждого из вариантов нажмите кнопку «Проверить»:
Настройка A/B-теста в Яндекс.Метрике

Готово. Когда выйдет время, на протяжении которого вы проводили эксперимент, вы получите отчет — рассказываем, как его анализировать.

Как анализировать данные эксперимента

На графике можно смотреть, в какие даты как себя вели разные версии сайта. Вот так будет выглядеть отчет (его первая часть):

Отчет по A/B-тесту в Яндекс.Метрике

Ниже — подробные цифры по метрикам, которые вы выбрали для отслеживания. Нас интересуют в основном первые три колонки — это метрики, которые мы выбрали для отслеживания. Зеленым подсвечены бОльшие показатели. В экспериментальном отчете видим, что B-версия выигрывает

Отчет по A/B-тесту в Яндекс.Метрике

Еще у отчета есть дополнительные метрики. Вот что о них написано в справке по отчету:

  • Дельта — разница между значениями метрики в экспериментальном и контрольном варианте.
  • Дельта (%) — дельта, выраженная как процент от значения метрики в контрольном варианте.
  • Доверительный интервал — изображение с доверительными интервалами для экспериментального и контрольного варианта на числовой оси.
  • P-value — основная численная характеристика результата работы статистического критерия. Означает вероятность получить такие же или более экстремальные результаты в предположении, что на самом деле значение метрики не поменялось.

Принятие гипотезы осуществляется сравнением P-value с уровнем значимости: P-value <= alpha. По умолчанию используется порог alpha = 0.05.

Важно понимать, что alpha задает вероятность ошибок первого рода (ложно-положительные срабатывания). При этом нецелесообразно делать alpha сильно низким, так как возрастает вероятность ошибок второго рода (ложно-отрицательные срабатывания) и увеличивается MDE.

  • MDE (%) — Minimum detectable effect. Минимальное изменение метрики, которое можно разглядеть при таком количестве данных и с вероятностью ошибок первого рода alpha = 0.05 и ошибок второго рода beta = 0.2. Выражено в процентах от значения метрики в контрольном варианте. Уменьшать MDE можно увеличением процента и длительности эксперимента.

Еще подробнее о разных способах подключить «Эксперименты» и о том, как создавать тест и читать отчет, можно узнать в Справке Яндекса.

Советы по проведению A/B-тестов

Иван Смирнов, руководитель проектов TexTerra:
«Экспериментальная проверка маркетинговых гипотез с помощью А/B тестирования — одна из составляющих нашей работы по комплексному продвижению в интернете.

Я бы рекомендовал запустить простой эксперимент, например сделать кнопку обратной связи крупнее (или ярче) и оставить текущую. Возможно, результаты этого эксперимента вас удивят».

  1. Продумайте заранее, что будете тестировать

Определите цель тестирования — опирайтесь при этом на основные бизнес-задачи компании.

  1. Определите одну главную метрику, за которой будете наблюдать

Нельзя наблюдать сразу и за конверсиями, и за глубиной просмотра страницы, и за CTR. Часто в качестве главной метрики берут коэффициент конверсии, но у вас это может быть и доля зарегистрированных пользователей, и CTR — все, что соотносится с бизнес-целями. Остальные метрики можно отслеживать, но как дополнительные. Но в целом, можно в целом на каждый фактор опираться, подтверждая гипотезу.

  1. Грамотно интерпретируйте результаты

Если выиграла версия A или обе версии показали одинаковый результат (нулевая гипотеза), можно оставить все как есть или углубиться в данные — почему B-версия не выиграла.

Если B выиграла, получается, что наша альтернативная гипотеза более удачна, чем A. Меняем на сайте то, что планировали менять, когда ставили гипотезу» .

Читайте также:

Как провести А/В тестирование: полный гайд по Google Optimize

Как писать тексты для посадочных страниц: шаблон и примеры

Как я повысила конверсию лендинга на 518 %

Продвинем ваш сайт

в поиске «Яндекса» и Google

Подробнее
Поделиться статьей:

Новое на сайте

6 дек 2024
5 642
Что подарить маркетологу и пиарщику — 22 идеи

Специалисты разных компаний поделились своими вариантами.

6 дек 2024
247
В чем смысл страницы захвата и как создать идеальный инструмент лидогенерации

В отличии от лендинга, предоставляющему клиенту различный спектр возможностей, страница захвата имеет четкую цель.

6 дек 2024
3 304
Реклама в ПромоСтраницах: чек-лист перед запуском РК

А также: настройка стратегий, UTM-метки, Scroll2Site и модерация.

Смотреть все статьи

У вас есть деловой запрос? Давайте обсудим!

Оставьте свои контакты, мы свяжемся с вами в ближайшее время.

Нажимая на кнопку «Оставить заявку», вы подтверждаете свое согласие на обработку пользовательских данных

Спасибо!

Ваша заявка принята. Мы свяжемся с вами в ближайшее время.