Однажды на Диком Западе, или Что случилось с выдачей «Яндекса» летом 2015 года
Вебмастера предположили обновление алгоритма «Яндекса», когда заметили внезапные изменения позиций сайтов в выдаче. Без видимой причины ресурсы вылетали из топ-20 или топ-30 на несколько дней. Потом большая часть сайтов также необъяснимо возвращалась на привычную первую страницу выдачи.
Одновременно в топ-10 появлялись ресурсы, которые ранее не были замечены на вершине. Новички какое-то время занимали первые позиции. Спустя некоторое время большинство из них опускалось на привычное место: ниже второй-третьей страницы выдачи. Но некоторые сайты оставались в топе надолго.
Странное поведение «Яндекса» наблюдалось преимущественно в выдаче для Москвы и Санкт-Петербурга. В некоторых регионах отмечались единичные резкие изменения выдачи. В других необъяснимых внезапных изменений выдачи не было.
Владельцы сайтов заметили волновой характер изменений. «Яндекс» чередовал периоды турбулентности выдачи с периодами относительной стабильности. При этом закономерностей в продолжительности спокойных и неспокойных не наблюдалось.
Еще один важный тезис: поисковая система активно тасовала выдачу по коммерческим запросам типа «заказать пиццу с бесплатной доставкой в Москве». В меньшей степени изменения коснулись выдачи по информационным запросам типа «как выбрать детский велосипед».
Чистосердечное признание: осенью «Яндекс» подтвердил новый алгоритм
В сентябре 2015 года «Яндекс» написал о новом алгоритме в блоге для вебмастеров. Чтобы описать его суть, нужно вспомнить, как формируется поисковая выдача, вернее, как она формировалась до многорукого бандита.
В ответ на запрос пользователя «Яндекс» предлагал ему совокупность страниц, ранжированных по информационной релевантности. Поисковая система учитывала реакцию людей на предложенные сайты. Речь идет о поведенческих факторах. Собрав достаточный объем информации, «Яндекс» корректировал результаты ранжирования по информационной релевантности на удовлетворенность пользователей.
На первый взгляд эта модель кажется практически идеальной. Поисковик учитывает информационное качество страницы и удовлетворенность пользователей. Казалось бы, зачем менять алгоритм? Затем, что без изменений эта модель постепенно приводит к серьезному снижению качества поисковой выдачи.
Условно представьте, что «Яндекс» определил десять наиболее релевантных запросу «купить КАСКО в СПб» страниц. После поправки на поведенческие метрики поисковик заменил несколько сайтов из топ-10, а также расставил их в порядке от лучшего к худшему. Как сказано выше, для определения лучших машина использовала информационную релевантность и удовлетворенность пользователей.
Что происходит дальше? Всякий раз, когда пользователь вводит в поисковую строку соответствующий запрос, «Яндекс» выдает ему десять лучших страниц. При прочих равных условиях больше трафика получают сайты, расположенные на более высоких позициях в SERP.
Вместе с трафиком сайты из топа получают новые поведенческие сигналы. В свою очередь, ресурсам из-за пределов топ-20 или -30 поисковая система дает меньше посетителей, чем лидерам выдачи. В результате «Яндексу» не удается собрать информацию об удовлетворенности пользователей. Данных просто недостаточно, чтобы принять решение о повышении или понижении позиций ресурса. Из-за этого топ поисковой выдачи консервируется: новичкам практически невозможно попасть на первую страницу из-за отсутствия пользовательских сигналов.
Почему в этой ситуации неизбежно падает качество выдачи? Ответ очевиден: едва ли существует коммерческая ниша, где одна и та же информация всегда остается одинаково релевантной и актуальной. Со временем меняются рыночные условия, потребности клиентов, характеристики продуктов. Поисковая система должна реагировать на объективные изменения, меняя выдачу. Но она не делает этого из-за консервации топа поведенческими факторами.
Справедливый вопрос: а почему «Яндекс» не меняет выдачу с помощью оценки информационной релевантности? Почему бы поисковику не вычислять изменения ценности и актуальности информации? И очень простой ответ: он робот. Машины умные, но они все еще определяют релевантность информации машинными методами. Проще говоря, чтобы сформировать выдачу, «Яндекс» рассчитывает семантическую релевантность информации запросу пользователя.
В программной статье, написанной к международной конференции WWW 2015, «Яндекс» назвал традиционный подход к формированию выдачи эксплуатирующим. Вот промежуточное резюме для эксплуатирующего подхода: стратегия направлена на формирование максимально качественной выдачи с помощью оценки релевантности сайтов с последующей коррекцией на поведенческие факторы. Подход имеет существенный недостаток: топ поисковой выдачи консервируется, новые сайты не получают трафика. Из-за этого «Яндекс» не может собрать для них сведения об удовлетворенности пользователей, с помощью которых можно было бы повысить качество SERP.
А если рискнуть? Качество выдачи можно повысить с помощью экспериментов
В качестве альтернативы эксплуатирующему «Яндекс» рассматривает экспериментирующий подход. Вот его суть: поисковая система активно тасует выдачу. Позиция сайтов по конкретным запросам быстро и непредсказуемо меняется. Цель землетрясений в SERP — сбор поведенческих сигналов для максимального количества сайтов, ранжирующихся по тем или иным ключевым фразам. В долгосрочной перспективе стратегия повышает качество выдачи за счет оценки удовлетворенности пользователей.
При использовании экспериментирующего подхода к формированию выдачи появляется серьезная проблема. В краткосрочной перспективе качество SERP катастрофически падает. Почему? Чтобы перетасовать сайты в выдаче по тому или иному запросу, «Яндексу» приходится повышать позиции менее релевантных ресурсов в ущерб более релевантным. Поскольку выдача в целом становится менее релевантной, поисковая система не может использовать экспериментирующий подход в чистом виде.
Второе промежуточное резюме: эксплуатирующий и экспериментирующий подходы в чистом виде постепенно снижают качество выдачи. Применение первого консервирует топ и не пускает на первые страницы новые ресурсы. Применение второго приводит к снижению релевантности выдачи в краткосрочной перспективе. Что в этой ситуации делает поисковая система? Она выпускает на сцену многорукого бандита.
Хороший, плохой, многорукий: как работает бандит «Яндекса»
Все, что нужно знать об алгоритме владельцам сайтов и маркетологам, «Яндекс» написал в упомянутой заметке о новом подходе к определению релевантности документов. Суть многорукого бандита заключается в оптимальной комбинации эксплуатирующего и экспериментирующего подходов к формированию выдачи. Иными словами, поисковая система тасует выдачу дозированно, чтобы не потерять общую релевантность SERP. «Яндекс» время от времени подбрасывает в топ новые сайты и оценивает поведенческие сигналы.
Если вас интересуют технические подробности работы алгоритма с формулами и логарифмами, читайте отмеченную выше программную статью «Яндекса» Gathering Additional Feedback on Search Results by Multi-Armed Bandits with Respect to Production Ranking. Только еще раз обратите внимание, материал стоит читать, если вам интересны технические аспекты работы алгоритма. Для успешной раскрутки проекта достаточно понимать, что с помощью многорукого бандита «Яндекс» оптимально сочетает эксплуатирующий и экспериментирующий подходы к формированию выдачи.
Ничего не напоминает? «Яндекс» считает поисковую выдачу многоруким бандитом. Каждая ссылка в SERP — это отдельный игровой автомат или однорукий бандит. Когда «Яндекс» дергает ручку соответствующего автомата, сайт отображается в топе. Выигрыш для поисковой системы — удовлетворенность пользователя. Новый алгоритм помогает поисковику найти наиболее выигрышный порядок взаимодействия с каждым одноруким бандитом.
Найти и обезвредить: действует ли многорукий бандит в данный момент
А давайте проверим. Вот поисковая выдача по запросу «заказать пиццу в Мытищах бесплатная доставка» за 13 апреля:
А вот выдача по этому запросу за 14 апреля:
А вот SERP за 15 апреля:
Изменения на 16 апреля:
На скриншотах видно, что порядок сайтов в топе меняется ежедневно. Обратите внимание на сайт sushishka.ru, который 14 апреля входит в топ-5, 15 апреля занимает второе место, а 16 апреля оказывается на первом месте в выдаче. Также 16 апреля в топе появляется новый сайт: mytishi.papajohns.ru.
Давайте посмотрим на результаты выдачи по информационному запросу «как выбрать окна ПВХ» для Москвы. Вот SERP за 13 апреля:
Вот выдача по этому запросу от 14 апреля:
А вот выдача за 15 апреля:
SERP за 16 апреля:
Обратите внимание на сайт fairy-house.ru. Он занимал вторую позицию 13 апреля. 14 числа он выпал из топа, а 15 снова вернулся на вторую позицию. Кроме этого провала и последующего рывка можно заметить изменение порядка ранжирования ресурсов в выдаче.
Для чистоты эксперимента посмотрите на динамику выдачи по еще одному информационному запросу:
Вот выдача по этому запросу для московского региона за 14 число:
Вот SERP за 15 апреля:
Выдача на 16 апреля:
С 13 по 16 апреля сайт «Текстерры» ни разу не занимал одинаковую позицию. 15 апреля в топ вошли сайты zarplatawmz.ru и dolinacoda.ru. Первый 16 апреля из топа исчез, а второй там удержался. 16 апреля «Яндекс» показывал в выдаче по выбранному запросу блок с видео.
Какие выводы можно сделать? Выдача «Яндекса» постоянно меняется как по коммерческим, так и по информационным запросам. Изменения происходят очень быстро. Сайты появляются и исчезают из топа. Также они постоянно меняют позиции на первой странице выдачи. Можно ли объяснить лабильность SERP многоруким бандитом? Да, хотя на изменения выдачи влияют и другие факторы, например, персонализация.
Многорукого бандита можно рассматривать в качестве глобального и постоянного стремления поисковой системы улучшать качество SERP. В этом смысле именно он отвечает за динамику результатов поиска.
Плохой коп: как не надо действовать после появления многорукого бандита
Руководитель отдела поискового продвижения Wikimart.ru Михаил Сливинский в статье для Searсhengines.ru предлагает несколько сомнительных тактик. Уважаемый коллега в этом случае выбрал не совсем корректный подход. Нужно делать все наоборот.
Не давайте скидку на товар или бесплатную доставку
Мысль понятна: как только владелец интернет-магазина замечает, что бандитский алгоритм «Яндекса» отправил страницу с каким-то товаром в топ, нужно тут же дать клиентам скидку. Это повысит удовлетворенность пользователей и улучшит поведенческие факторы. Соответственно, страница останется в топе.
Хорошо, если в магазине продается три товара. А если 333? Или 3333? Успеет ли владелец сайта заметить скачки позиций и внести нужные изменения на сайт до следующего бандитского набега на выдачу?
На скриншотах выше видно, что сайты выпадают из топа на один день. Скорее всего, новые ресурсы задерживаются на первой странице дольше, так как «Яндексу» нужно собрать достаточный объем пользовательских данных. Но вы не можете спрогнозировать конкретный период пребывания страницы в топе.
В таком случае, что делать с акцией? Завершить ее, как только поисковая система протестирует удовлетворенность пользователей? Продолжить акцию и сделать вид, что это плановое решение?
А как быть, если бандиту «Яндекса» придет в электронную голову в первую неделю протестировать 100 страниц с описаниями, в следующую неделю еще 150 и так далее? Сколько времени уйдет у поисковика, чтобы проверить реакцию пользователей на все 3 тыс. страниц с описаниями товаров из вашего интернет-магазина? Как среагируют клиенты на постоянные изменения списков акционных товаров?
Самый главный из риторических вопросов: а не разорится ли предприятие на скидках и бесплатной доставке, гоняясь за неуловимым бандитом?
Не добавляйте в title и description спецсимволы
Почему? Как минимум, это несолидно. Конечно, если вы продвигаете развлекательный сайт для школьников, можете попробовать. Для взрослых проектов это моветон.
Как максимум, рано или поздно вы нарветесь на санкции. Да, пока поисковые системы сквозь пальцы смотрят на шалости со спецсимволами в description. Но если «Яндекс» и Google увидят, что многие владельцы сайтов засоряют SERP какими-то загогулинками, немедленно появится новый фильтр.
Не используйте игровые механики и не наполняйте title/description полезной информацией
Этот пункт звучит абсурдно вне контекста. Поэтому правильно его сформулировать так: не используйте игровые механики и не наполняйте description полезной информацией только из-за того, что бандит «Яндекса» на какое-то время впустил страницы вашего сайта в топ. Неужели, если бы поисковая система не обновила алгоритм, вы бы указывали в описании страницы бесполезную информацию и игнорировали игрофикацию?
Давайте посмотрим на проблему с другой стороны. Сколько времени занимает внедрение игровых механик? Вы будете использовать их на всем сайте или только на страницах, которые выскочили в топ? Когда «Яндекс» закончит сбор пользовательских данных, вы перестанете использовать игрофикацию? Кому она нужна: бандитам «Яндекса» или вашим клиентам?
Не продвигайте сайты по позициям
Этот пункт уже не имеет отношения к Михаилу Сливинскому.
Продвижение по позициям неэффективно по целому ряду причин, включая лабильность выдачи в «Яндексе» и Google. Подробнее об этом рассказывает Денис Савельев. Если коротко, вам нужны посетители, а не позиции в выдаче. А эта задача решается с помощью других подходов. О них пойдет речь дальше.
Хороший коп: как продвигать сайты после появления многорукого бандита
Если коротко, то так же, как и до появления нового алгоритма. Ничего нового в связи с бандитскими скачками в выдаче «Яндекса» предпринимать не нужно. Все эффективные методики интернет-маркетинга учитывают особенности многорукого бандита. Смотрите сами.
Бейте по бандитизму низкочастотниками
Михаил Сливинский и Станислав Поломарь предлагают использовать широкое семантическое ядро для защиты от выпадения страниц из выдачи, связанной с многоруким бандитом. Отличная рекомендация.
На этот вопрос можно взглянуть под другим углом. Продвижение по низкочастотным запросам не только защищает вас от потери трафика. Оно улучшает поведенческие метрики и позволяет вашим страницам закрепиться в топе, если «Яндекс» дает им шанс. Почему так происходит?
Чтобы ответить на этот вопрос, вспомните, как правильно продвигаться по широкому семантическому ядру. Вам нужно давать аудитории исчерпывающую информацию по проблеме, глубоко погружаться в тему, демонстрировать пользователям экспертизу. Одним словом, максимально повышать качество контента. Как вы думаете, хороший контент улучшает поведенческие метрики сайта?
Противопоставьте бандитам клиентоориентированность
Клиентоориентированность может быть банальным штампом, который используется на сайте рядом с фразой про молодую динамически развивающуюся компанию. А может быть эффективным бизнес-инструментом.
В контексте многорукого бандита речь идет вот о чем: предлагайте клиентам выгодные условия доставки, конкурентную цену, качественные продукты. Проводите акции, разыгрывайте призы, устраивайте распродажи. Делайте это в соответствии с бизнес-планами, а не прихотями многорукого бандита. Одним словом, думайте о людях, а не об алгоритмах и поисковых системах. Поверьте, «Яндекс», Google, Bing, Mail.ru и все остальные поисковики это оценят.
Станьте юзабилити-гангстером, UX-разбойником, пиратом функциональности
Ваш сайт в любое время дня и ночи должен быть удобным, полезным, информативным, функциональным. Развивайте и улучшайте ресурс без привязки к алгоритмам поисковых систем. Вот направления, в которых нужно двигаться:
- Адаптируйте ресурс к мобильному трафику. Используйте способ, который считаете подходящим: адаптивную верстку, мобильный сайт, динамические показы или мобильное приложение.
- Обеспечьте высокую скорость загрузки страниц. Используйте gzip-сжатие, настройте кэширование, оптимизируйте изображения, откажитесь от ненужных Java-скриптов.
- Уделите внимание читабельности контента. Об этом читайте в статьях: один, два и три.
- Позаботьтесь о юзабилити: дизайне страниц, кнопках, формах, навигации, всплывающих окнах, посадочных страницах.
Ваш сайт должен обеспечивать пользовательское счастье или удовлетворять потребности интернет-серферов.
Забудьте о многоруком бандите «Яндекса»
«Яндекс» старается постоянно повышать качество поисковой выдачи. Для этого он использует много инструментов, алгоритмов, критериев оценки сайтов. С помощью многорукого бандита поисковая система дает шанс разным ресурсам: отправляет их в топ и изучает пользовательские сигналы.
Для успешного продвижения сайта в эпоху поисковых бандитов, которые наверняка есть не только у «Яндекса», вам нужно выполнить три условия. Первое: в долгосрочной перспективе успех сайта и предприятия в целом зависит от удачной клиентоориентированной бизнес-модели. Не нужно подстраиваться под алгоритмы, надо давать людям выгодные условия сотрудничества всегда.
Второе: вам нужен качественный контент. Давайте аудитории экспертизу, добавленную ценность, реальную пользу. Тогда не придется из-за каждого обновления алгоритмов что-то менять в описаниях страниц, использовать детские значки и другие читерские хитрости.
Третье: сайт должен соответствовать техническим требованиям аудитории и поисковых систем. Речь идет обо всем, что связано с удобством использования ресурса: от мобильной адаптации до читабельности контента, от скорости загрузки до визуальной привлекательности и дизайна.
Если вы соблюдаете эти правила, забудьте о многоруком бандите «Яндекса» прямо сейчас. Думайте о развитии бизнеса и сайта, а не беспокойтесь о технических аспектах работы поисковых систем.