Обновил: Егор Вяхирев
Аккуратнее с зеркалами сайтов — одно неверное перенаправление и вы можете вылететь из выдачи! Вот что нужно делать, чтобы не иметь проблем с поисковиками.
Что такое зеркало сайта
Зеркала — точные копии сайта, доступные по разным URL. Например, если по адресам nash-saitik.ru и нашсайтик.рф доступен одинаковый контент, поисковые системы признают сайты зеркалами. Обратите внимание, роботы сравнивают не только главные страницы ресурсов. По разным данным, чтобы поисковики признали сайты зеркалами, уровень совпадения контента должен составлять от 80%.
Откуда берутся зеркала сайтов?
Во-первых, владельцы сами их создают. Вопрос — зачем. С помощью зеркал можно решить следующие задачи:
- Сбор type-in трафика. Пользователи могут по-разному вводить адрес вашего сайта в адресную строку. Если ресурс доступен по URL macro-soft.ru, на него не попадают люди, которые вводят адрес macrosoft.ru. Решить проблему можно с помощью зеркала, с которого настроен редирект.
- Обеспечение постоянной доступности сайта. Если по каким-то причинам сервер с основным сайтом становится недоступным, пользователей можно перенаправлять на зеркало, расположенное на другом сервере.
- Переезд на новый домен. Зачем? Самый простой пример — изменение названия компании. Представьте, что сайт фирмы «Рога и копыта» доступен по адресу roga-kopyta.ru. После переименования организации в «Нос и хвост» логично поменять URL сайта на nos-hvost.ru. Как сохранить ТИЦ (тематический индекс цитирования— технология поисковой машины «Яндекс) и аудиторию ресурса? Эта задача решается с помощью зеркала сайта.
Во-вторых, из-за префикса www зеркала сайтов появляются автоматически. Физически nash-saitik.ru и www.nash-saitik.ru — разные ресурсы. В данном случае URL с префиксом www представляет собой субдомен по отношению к основному домену nash-saitik.ru.
Поскольку по двум адресам обычно доступен одинаковый контент, поисковые системы признают их зеркалами и склеивают. Термин «склейка» значит, что в поиске участвует только один ресурс. Поисковики могут выбрать основной домен или главное зеркало автоматически. Также вы можете указать соответствующие настройки самостоятельно. Если вам нужен качественный сайт (и зеркало), лучше обратиться для его создания к специалистам TexTerra.
Какой вариант лучше: с префиксом www или без?
Откуда взялся префикс www? В конце 80-х годов прошлого века технические возможности компьютеров отставали от задумок изобретателей. Для физического хостинга одного небольшого сайта приходилось использовать несколько веб-серверов. Например, на одной машине размещался сервис FTP, на другой почтовый сервер, а на третьей контент сайта. Это отражалось в адресах ресурсов. Например, для доступа к почтовому сервису использовался адрес mail.vash-saitik.ru, а доступ к FTP открывался с помощью адреса ftp.vash-saitik.ru.
Ученый Тим Бернерс-Ли предложил объединить размещенную на разных серверах информацию во Всемирную паутину (World Wide Web). Чтобы обеспечить техническую возможность, Бернерс-Ли с коллегами разработали язык разметки гипертекста (HTML), протокол передачи гипертекста (HTTP) и универсальные идентификаторы ресурсов (URI), производными от которых являются URL. Чтобы пользователи понимали, что ресурс находится во Всемирной паутине, к его адресу добавляли префикс www.
В настоящее время люди понимают, что ресурс находится во Всемирной паутине, независимо от префикса www. Стоит ли использовать его в адресе сайта? Это вопрос личных предпочтений: выбирайте вариант, который вам больше нравится.
Сомневаетесь?
Вот аргументы в пользу URL без префикса:
- Префикс www ухудшает юзабилити URL. Пользователям приходится печатать на четыре символа больше, чтобы ввести адрес в строку браузера. В первую очередь это сказывается на мобильных пользователях.
- Префикс не несет важной смысловой нагрузки. Как отмечалось выше, посетители понимают, что URL vash-saitik.ru является гиперссылкой и указывает на расположение ресурса в интернете.
- В одном из интервью создатель Всемирной паутины Тим Бернерс Ли сказал, что он отказался бы не только от префикса www в URL, но и от двойной косой черты после http. По словам ученого, благодаря этому можно сэкономить чернила и бумагу, а также защитить от вырубки много деревьев.
А вот аргументы в пользу префикса www в URL:
- Многие пользователи по привычке вводят в адресную строку URL с www.
- В офлайне префикс помогает человеку понять, что речь идет о сетевом адресе. Учитывайте это, если планируете активно продвигать ресурс с помощью полиграфической продукции и наружной рекламы.
- Некоторые вебмастера считают, что префикс повышает визуальную привлекательность коротких URL.
- Привычные нам крупные ресурсы, существующие в интернете очень давно, используют префикс www. Однако сейчас вы вряд ли найдете пример работы главного зеркала крупного сайта с этим префиксом – большинство настраивает перенаправление на домен без www.
Зачем выбирать основной домен, если можно дать пользователям возможность заходить на сайт по URL с префиксом и без? Представьте ситуацию: ресурс доступен по адресам vash-saitik.ru и www.vash-saitik.ru. Вы публикуете ценную информацию, которой пользователи делятся друг с другом. Они используют разные ссылки: с префиксом и без.
Как отмечалось выше, поисковые системы допускают в индекс только одно из зеркал. Например, поисковики могут автоматически выбрать вариант без префикса. В этом случае они не учитывают обратные ссылки с www. Ресурс теряет часть естественной ссылочной массы, которая могла бы работать на авторитет сайта.
Чтобы решить эту проблему, необходимо выбрать основной домен, настроить редирект и уведомить поисковые системы.
Как настроить серверный редирект
Представьте, что вы выбрали вариант URL с префиксом. Проверьте адрес, по которому доступен ресурс в данный момент. Если при попытке войти на сайт по URL с www браузер перенаправляет вас на адрес без префикса, это происходит благодаря серверному редиректу.
Проверить редирект можно с помощью специальных сервисов, например, WEB-Tool.org. Введите URL сайта в поле для анализа и нажмите кнопку Analyze. Сервис покажет редирект(ы) и его(их) тип(ы).
Если вы выбрали главное зеркало с префиксом
Необходимо изменить редирект: на уровне сервера перенаправить посетителей с moi-sait.ru на www.moi-sait.ru
Чтобы изменить редирект, нужно отредактировать данные в файле .htaccess. Это конфигурационный файл наиболее распространенного сервера Apache. Доступ к нему можно получить через FTP.
- Подключитесь к серверу с помощью любого FTP-клиента, например, с помощью FileZilla. Данные для доступа можно получить у хостинг-провайдера. В меню «Сервер» включите опцию «Принудительно отображать скрытые файлы».
- В корневом каталоге найдите файл .htaccess и скачайте его на жесткий диск.
- Откройте файл с помощью текстового редактора и добавьте правило переадресации. Используйте такой код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^moi-sait.ru
RewriteRule (.*) http://www.moi-sait.ru/$1 [R=301,L]
Вместо URL moi-sait.ru.ru вставьте адрес своего сайта.
- Сохраните изменения в файле и загрузите его на сервер.
- Обновите настройки CMS. Если вы пользуетесь WordPress, укажите основной домен в разделе консоли «Общие настройки».
- Проверьте корректность редиректа с помощью сервиса WEB-Tool.org.
Если вы выбрали основной домен без префикса
Если вы хотите настроить редирект с адреса с www на адрес без www, используйте следующий код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.moi-sait.ru
RewriteRule (.*) https://moi-sait.ru/$1 [R=301,L]
Как сообщить о главном зеркале «Яндексу»
«Яндекс» автоматически определяет главное зеркало, если редирект настроен корректно. Но если вы изменили основной домен, сообщите об этом поисковику.
Для этого:
- Сначала добавьте в файл robots.txt директиву Host с указанием нового адреса. Для этого скачайте документ с сервера с помощью FTP-клиента. Файл находится в корневом каталоге в папке www.
- Откройте файл в текстовом редакторе. Добавьте директиву Host после директив Disallow и Allow. Если вы выбрали главное зеркало с префиксом, добавьте такую строчку:
Host: www.moi-sait.ru
Вместо URL www.moi-sait.ru используйте адрес вашего сайта. Записи в файле robots.txt могут выглядеть так:
- Сохраните информацию и загрузите обновленный файл robots.txt на сервер. Проверьте изменения. Файл доступен по адресу www.moi-sait.ru/robots.txt.
- Откройте раздел «Переезд сайта» в кабинете для вебмастеров «Яндекса». Он находится в меню «Индексирование». Отметьте галочкой пункт «Добавить www» и сохраните изменения. Изменения вступят в силу после переиндексации ресурса.
Как узнать главное зеркало сайта с помощью Search Console Google
Чтобы выбрать основной домен в поисковой консоли Google, подтвердите права на управление двумя сайтами. Для этого добавьте в консоль ресурс с префиксом и без префикса. После подтверждения прав войдите в меню настроек сайта.
Выберите вариант домена с www и сохраните изменения.
После выбора основного домена Google будет рассматривать внешние ссылки с префиксом и без как идентичные. Иными словами, естественные бэклинки вида www.moi-sait.ru и moi-sait.ru будут засчитываться в актив вашего ресурса.
Как настроить главное зеркало для кириллического домена
Многие владельцы сайтов для удобства пользователей регистрируют кириллические домены. Например, сеть супермаркетов «Лента» владеет кириллическим доменом лента.рф. Однако сайт организации доступен по адресу www.lenta.com. Это возможно благодаря редиректу 301 с URL лента.рф на адрес основного домена.
Если вы укажете в файле .htaccess адрес кириллического домена, правильно редирект настроить не получится. Адрес необходимо конвертировать в латиницу с помощью punycode. Для этого воспользуйтесь конвертером, например, этим.
Представьте, что настраиваете редирект с URL мой-сайт.рф на www.moi-sait.ru. В файл .htaccess необходимо добавить такой код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^xn----7sbkb0bwgfvfb.xn--p1ai
RewriteRule (.*) http://www.moi-sait.ru/$1 [R=301,L]
Чтобы настроить редирект с www.moi-sait.ru на мой-сайт.рф, укажите в .htaccess такой код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.moi-sait.ru
RewriteRule (.*) http:// xn----7sbkb0bwgfvfb.xn--p1ai/$1 [R=301,L]
Обратите внимание, xn----7sbkb0bwgfvfb.xn--p1ai — это URL мой-сайт.рф в кодировке punycode.
Как настроить редирект при переезде на новый домен
При изменении адреса сайта «Яндекс» рекомендует сохранять старый домен в качестве зеркала нового. Это минимизирует влияние переезда на позиции ресурса в выдаче и трафик. Оптимальным вариантом поисковик называет постраничный редирект 301. В файле .htaccess необходимо настроить переадресацию с каждой страницы старого сайта на соответствующую ей страницу нового сайта.
Если ресурс состоит из нескольких страниц, проблем не возникнет. Но если страниц сотни или тысячи, на настройку редиректа уйдет много времени. Кроме того, сотни или тысячи редиректов в файле .htaccess создадут дополнительную нагрузку на сервер.
Чтобы решить проблему, используйте следующий код:
Options +FollowSymLinks
RewriteEngine on
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>
RewriteCond %{HTTP_HOST} ^www.moi-sait\.ru
RewriteRule ^(.*)$ http://test-sait.ru/$1 [R=301,L]
RewriteCond %{HTTP_HOST} ^www.moi-sait\.ru
RewriteRule ^(.*)$ http://test-sait.ru/$1 [R=301,L]
В данном примере код перенаправляет пользователей с любой страницы сайта www.moi-sait.ru на соответствующую ей страницу сайта test-sait.ru. Не забудьте вместо использованных для наглядности адресов указать URL ваших ресурсов.
Обратите внимание, файл robots.txt старого сайта www.moi-sait остается доступным. В нем необходимо с помощью директивы Host указать, что основным зеркалом вы выбрали новый сайт test-sait.ru.
Чтобы внести корректный код в файл .htaccess, вы можете воспользоваться генераторами редиректов. Чтобы получить код, достаточно ввести URL страниц, с которых и на которые нужно настроить перенаправление. Вот несколько бесплатных генераторов:
HtAccess 301 Redirect Generator Tool.
Как настроить редирект без редактирования файла .htaccess
Если вы боитесь редактировать файл .htaccess, воспользуйтесь более простыми способами настройки редиректов. Речь идет о выборе перенаправления в панели управления сайтом cPanel и расширениях для популярных CMS.
Настройка редиректа в cPanel
В панели управления войдите в меню «Перенаправления». Он находится в разделе «Домены».
При необходимости выберите тип перенаправления. По умолчанию система предлагает использовать постоянный редирект. Он подходит для настройки зеркал сайта.
Укажите домены, с которого и на который будут перенаправлены пользователи. Нажмите кнопку «Добавить», чтобы сохранить изменения.
Перенаправление с помощью плагинов
Для некоторых CMS существуют плагины, с помощью которых можно быстро настроить редирект. Например, если вы работаете с WordPress, воспользуйтесь Simple 301 Redirects. Установите плагин и войдите в меню настроек.
Укажите страницы, с которых и на которые необходимо перенаправить пользователей. В примере на иллюстрации настроен редирект со страницы записи на страницу архива.
С помощью плагина можно настроить перенаправление для всех страниц в категории. Для этого установите флажок в поле Use Wildcards. Укажите адрес категории и добавьте после него астериск (знак в виде звездочки *). Укажите URL назначения и сохраните изменения.
В CMS Joomla! редиректы можно настроить с помощью встроенного в ядро компонента «Перенаправление». В Drupal эта задача решается с помощью модуля Redirect. Для CMS Opencart есть платные расширения для настройки перенаправлений.
Как настроить редирект на сервере Nginx
Если ваш хостинг-провайдер использует сервер Nginx, для настройки редиректов необходимо внести изменения в конфигурационный файл. Это аналог файла .htaccess сервера Apache.
Чтобы настроить редирект с домена без префикса www на домен с префиксом, укажите следующий код:
server {
server_name moi-sait.ru;
rewrite ^/(.*)$ http://www.moi-sait.ru.ru/$1 permanent;
}
Перенаправление с URL с префиксом www на URL без префикса можно настроить с помощью такого кода:
server {
server_name www.moi-sait.ru.ru;
rewrite ^/(.*)$ http:/moi-sait.ru.ru/$1 permanent;
}
Вы можете получить код для конфигурационного файла Nginx с помощью htaccess-конвертеров, например, этого.
- Создайте код для файла .htaccess сервера Apache с помощью одного из предложенных выше генераторов.
- Конвертируйте код для файла .htaccess в код для конфигурационного файла Nginx.
Итоги: выбрать домен легко, сложнее реализовать выбор
Чтобы выбрать основной домен и сообщить об этом поисковым системам, необходимо настроить серверные редиректы. Также необходимо изменить настройки в кабинетах для вебмастеров «Яндекс» и Google. С этими задачами может справиться любой специалист без уникальной технической подготовки. Вам понадобится доступ к FTP или панели управления сайтом, умение пользоваться генераторами редиректов и немного времени. Кстати, перед редактированием файла .htaccess создайте резервную копию. Она может понадобится, если вы внесете в файл некорректные изменения.
Читайте также:
Полное руководство по «Яндекс.Вебмастеру» на 2023 год
«Яндекс.Вебмастер» или Search Console Google: какая панель все же лучше (и для каких задач)