Что такое noindex
У любого разработчика рано или поздно появляется задача скрыть участок текста на сайте от поисковых роботов. Тег noindex дает краулерам указание, что индексировать участок текста, заключенный в теги, не нужно. Другими словами, тег noindex используется для контроля за индексацией определенного участка веб-страницы. Он незаменим для закрытия индексации определенного фрагмента HTML или любых URL.
Многие seo-оптимизаторы разделились на 2 воинствующих лагеря: одни говорят, что тег noindex бесполезен, так как его понимает лишь «Яндекс» и частично «Рамблер», а Google не признает вообще. Другая часть оптимизаторов утверждает, что noindex незаменим в процессе SEO-оптимизации сайта под «Яндекс» и позволяет сэкономить время. Попробуем разобраться, кто прав.
Кто «понимает» noindex
Я уже отметил чуть выше, что тег учитывают только поисковые роботы «Яндекс» и «Рамблер». Краулеры Google воспринимают noindex в качестве не валидного указания. Это означает, что при обходе страниц с таким тегом могут возникать ошибки: страница либо просто выпадает из индекса, либо индексируется некорректно.
Как выглядит noindex
Выглядит тег таким образом:
Отмечу, что noindex можно вставить практически в любое место, и он будет работать. Имейте в виду, что уровень вложенности тег не учитывает.
Так выглядит noindex в условиях реальной веб-страницы (упрощенно, конечно):
Что скрывать тегом noindex
Функциональность тега сводится решению 5 задач:
- закрыть от индексации скрипты веб-аналитики / коды рекламных систем / другие служебные участки кода. Делать это необязательно, но роботам «Яндекс» жизнь вы чуть облегчите;
- кастомизировать текстовое описание страницы (сниппет) в результатах поиска «Яндекс». Часто в описание попадает неактуальная, служебная или другая конфиденциальная информация. Noindex позволит ограничить вывод информации и других данных «не для всех».
- остановить индексацию дублей – тег позволяет скрывать любой контент, который повторяется на других страницах. Особенно noindex актуален для сквозных блоков (информация в них практически всегда повторяется);
- управлять весом веб-страницы – при помощи noindex мы можем как усилить, так и ослабить их. Тег, как мы уже поняли, позволяет скрыть ссылку от робота «Яндекса» или сделать ее видимой для пользователя;
- иногда с помощью noindex можно закрыть от индексации страницы, содержащие так называемый пользовательский контент. Использование noindex позволит ограничить распространение такого вида контента в результатах поиска «Яндекс». Как итог, можно будет «ослабить» модерацию входящих комментариев. Заблокировать тегом noindex можно не только комментарии, но и любые другие страницы. Например, отзывы, личные данные и другую конфиденциальную информацию. Имейте в виду, что изначально тег для этих целей не предназначен. Для пользовательских URL (форумные сообщения, комменты, QA) существует специальный атрибут – rel=ugc.
- нарастить в тексте частотность определенных ключей (не рекомендуем этого делать!), скрыв иной текст, повысить соответствие страницы поисковой фразе. Если вы делаете подмену при помощи тега, рано или поздно, краулеры об этом узнают, и ваш сайт будут ждать серьезные санкции. Даю этот способ не для того, чтобы вы повторяли, а чтобы знали, как работают недобросовестные оптимизаторы.
На практике закрывать следует:
- страницы печати;
- бесполезные дубли;
- автосоздаваемые веб-страницы, содержащие UTM-разметку (например, страницы из «Яндекс.Справочника»);
- списки желаний / страницы оформления заказа / рейтинги / корзину / страницы учетной записи покупателей;
- листинги с применением фильтров, листинги с активной сортировкой;
- результаты поиска;
- служебные и конфиденциальные страницы не для общего пользования.
Невалидность
Выше я уже отмечал, что большинство краулеров считают тег noindex недействительным. Именно поэтому, чтобы избежать ошибок валидности HTML, использовать тег я бы рекомендовал только в таком виде:
Серые оптимизаторы
Недобросовестные веб-мастера прячут от краулеров качественный копипаст (это контент, который увидят посетители сайта), а вместо него «скармливают» поисковому роботу идеально (или не очень) SEO-оптимизированный текст. Именно из-за таких случаев «Яндекс» ввел специальные алгоритмы-поправки для своих краулеров. Учитывайте, что сейчас даже закрытый двойным тегом noindex текст все равно автоматически индексируется поисковыми роботами. После этого такой скрытый текст дополнительно анализируется алгоритмами «Яндекса» и, если там обнаруживается копипаст или поисковый спам, могут последовать санкции. Санкции могут затрагивать как весь сайт, так и только проблемную страницу.
Мета-тег noindex
Мета-тег noindex распространяет свое действие на всю веб-страницу, а российский тег noindex действует только на заданную часть веб-страницы.
Это тег noindex:
А это мета-тег noindex:
Noindex и ссылки
Noindex не скрывает URL целиком. Даже если вы скроете ссылку этим тегом, ее вес все равно будет учитываться «Яндексом».
Так можно закрыть ссылку при помощи noindex:
Как скрыть страницу при помощи элемента <meta>
Чтобы закрыть страницу от индексации таким способом, достаточно добавить соответствующий элемент на страницу:
Как скрыть всю страницу от краулеров через robots.txt
Защитить страницу от индексации целиком можно, добавив в системный файл robots.txt такую строку:
Disallow: / primer.html
(primer нужно заменить на URL страницы, которую вы хотите закрыть от индексации).
Использовать директиву Disallow в robots.txt нужно крайне осторожно, только если вы точно знаете, какой результат хотите получить.
Nofollow
Nofollow-ссылка – это обычный URL для которого прописывается rel="nofollow". Nofollow – это атрибут, который вы можете увидеть, только если будете самостоятельно анализировать HTML-код страницы. Для обычного посетителя разницы никакой, но поисковые системы ее улавливают. Можно сказать, nofollow – родственный noindex атрибут. Nofollow используется, чтобы краулеры понимали: вес ссылки является нулевым. Соответственно, PageRank и другие метрики, в ссылках размеченные nofollow-атрибутом, просто не передаются.
Так выглядит dofollow-ссылка:
А так – nofollow-ссылка
Оптимизировав ссылку nofollow-атрибутом, вы даете поисковому роботу понять, что переходить по ней и сканировать URL необязательно. Главный сценарий использования атрибута rel nofollow – это разметка рекламных URL.
На практике nofollow-тег используют владельцы сайтов, которые не хотят, чтобы их сайт стал бесплатным трамплином для продвижения других ресурсов. Ссылки nofollow не проходят индексацию, но косвенно поисковые системы их все же учитывают.
Где использовать nofollow-ссылки
- сквозные URL – в «сквозняках» лучше изменить текст ссылки (анкор) на название компании;
- платные ссылки – лучше вообще от них избавиться, если вы грешили ими в самом начале продвижения. Не забывайте также, что Google позволяет отклонять некачественные URL, причем как на уровне веб-страницы, так и по домену;
- URL из виджетов – нужно будет подправить код виджета и заключить ссылку в nofollow-атрибут;
- URL в гостевых постах – по аналогии с первым случаем, лучше убрать ключевое слово из анкора и заменить его на название вашей компании.
Стоит ли вообще использовать тег noindex
Это должен решить каждый владелец сайта самостоятельно. Если ваша площадка получает основной трафик из «Яндекса», в использовании noindex смысл точно есть. Однако с его помощью вы не сможете влиять на поведение всех роботов поисковых систем. Правда, и здесь есть 1 лайфхак: вы можете указать блокирующий тег в robots.txt. В последнем случае вы сможете закрыть страницу от индексации целиком.
Если вы решите добавить noindex-тег в robots.txt, обязательно должно используйте атрибут content. Многие веб-мастера прописывают в robots.txt конкретные рекомендации по индексации той или иной веб-страницы + переходам на указанные URL. При этом Google замечает, что robots нельзя использовать, чтобы ограничить показ страницы в SERP. Если стоит задача исключить проблемную веб-страницу из поисковой выдачи, Google советует использовать директиву noindex или создать авторизованный доступ (с паролем).
Читайте также:
6 SEO-экспериментов для увеличения трафика