Битые ссылки: топ-8 инструментов для их поиска

03 Ноябрь 2024

Время чтения: 27 минут

Давно проверяли свой сайт? Неработающие URL вредят SEO!

Обновил: Сергей Ломакин

Неработающие ссылки с 404-ми страницами расстраивают посетителей вашего сайта (они не могут получить то, что хотят) и портят показатели пользовательского опыта. На рейтинг выдачи впрямую это не влияет, но глобально косвенно вредит SEO вашего сайта. Рассказываем, как проще и быстрее от них избавиться — собрали самые надежные способы!

Происхождение битых URL: что проверить в первую очередь

Битыми ссылками можно назвать любые линки, при открытии которых появляется 404-ая страница. В свою очередь, сами битые URL можно разделить на внутренние и внешние.

Вас, как владельца сайта, должны волновать, в первую очередь, внутренние — это сломанные ссылки, которые ведут на разные страницы вашего сайта.

Внешние ссылки тоже представляют проблему, но решить ее в чем-то даже проще: достаточно заменить проблемную ссылку на рабочую, сославшись на другой домен.

Битые ссылки могут возникать буквально на пустом месте. Все причины их появления можно свести к трем факторам:

Ошибки в адресе ссылки при ручном или автоматическом указании URL.

Самый частый подобный сценарий — проблемы со слешем. Многие недооценивают влияние простой черты в конце URL, и это большая ошибка. Обязательно учитывайте ее при указании ссылок и проверяйте, если неожиданно страница оказалась недоступной.

Глобальные изменения на сайте — переход на новое доменное имя, изменения дизайна, установка плагинов.

Любые действия, связанные с глобальными или частичными изменениями, способны привести к появлению битых ссылок. Даже если вносимые изменения в работу сайта, на ваш взгляд, не представляют опасности, всегда делайте бекап! Распространенный сценарий появления битых линков — установка SSL-сертификата и некорректный переезд на HTTPS-протокол, соответственно. Если же на вашем сайте произошли структурные изменения, то обязательно нужно настроить 301-ое перенаправление со старых страниц.

Частичное или массовое удаление уже существующих на сайте страниц.

Особенно часто этим грешат магазины, которые, вместо того, чтобы настроить перенаправление на страницу с отсутствующим в наличии товаром, просто удаляют ее.

В чем опасность битых ссылок для SEO в 2023 году

Павел Лемишевский, SEO-специалист TexTerra: «Да, как говорит сам гугл, битые ссылки, с точки зрения SEO, напрямую не влияют на ранжирование сайта в поисковой выдаче. Однако они косвенно влияют на поведенческие характеристики сайта, показатель отказов, уход пользователя с сайта. Поэтому оставлять их без внимания точно не стоит.

Битые ссылки находятся в перелинковке. По возможности заменяются на актуальные или убираются из кода вовсе. Если вам нужно устранить технические ошибки на сайте, мешающие его продвижению в поисковых системах, — обращайтесь в TexTerra. Мы проанализируем ваш ресурс и подскажем, как можно улучшить его работу».

Снижение метрик «Время на сайте» и «Отказы». Причина — пессимизация поведенческих факторов и раздражение аудитории. Вспомните, что делаете вы сами, когда переходите по ссылке, но вместо информации вам демонстрируется 404-я страница: скорее всего, просто закрываете сайт и начинаете искать другой источник информации.
Потеря трафика. У каждой ссылки есть специальная «метрика» (в среде оптимизаторов она называется весом). Если речь идет о битой ссылке, то она тоже оказывается обнуленной. Другими словами, ссылочный вес просто не передается.
Более медленная индексация поисковиками. Почему? Дело в том, что у каждого краулера (поискового робота) имеется собственный лимит по суммарному количеству запросов, который он может отправить в рамках одного домена (число запросов в секунду, например). Если битых URL очень много, то робот просто расходуют такой лимит на пустые страницы, а по-настоящему полезные страницы с контентом остаются без его внимания.

Как найти битые URL

Обнаружить битые URL можно при помощи нескольких инструментов. Проще всего это сделать в интерфейсе «Яндекс.Вебмастера» или Google Search Console, а также через расширения для браузеров и плагины CMS. Рассмотрим все варианты подробнее.

1. «Яндекс.Вебмастер»

Открываем «Яндекс.Вебмастер» и выбираем «Индексирование», далее «Статистика обхода»:

Теперь нам необходимо отфильтровать результаты таким образом, чтобы мы увидели только те страницы, которые отдают 404-ый код. Для этого кликаем по иконке с изображением воронки:

Получаем отчет со всеми удаленными страницами. В нашем случае, мы нашли страницы ранее отдававшие 400-й код и теперь отдающие 200-й. И не забудьте связать счётчики Яндекс Метрики с сайтом! Это позволит управлять обходом страниц, на которых установлен счётчик

Аналогичным образом, кликнув на иконку фильтра перед «Стало», мы найдем страницы, которые отдают 400-й код прямо сейчас:

2. Google Search Console

Чтобы увидеть битые ссылки в GSC, открываем группу отчетов «Индексирование» и выбираем пункт «Страницы». Откроется анализ покрытия, сразу листаем страницу вниз, пока не увидим «Почему эти страницы не индексируются». Это страницы, которые не удалось проиндексировать краулеру Google, они не могут появляться в результатах поиска Google.

3. Google Analytics

К слову про инструменты Google: в Google Analytics также можно обнаружить все битые ссылки, которые есть на вашем сайте. Но в этом случае необходимо точно знать title вашей 404-ой. Обычно это «Страница не найдена» или вариации этого названия.

Для того чтобы найти битые ссылки при помощи обновленного Google Analytics 2023 года, открываем группу отчетов «Поведение», раскрываем подгруппу отчетов «Контент сайта» и сразу переходим в отчет «Все страницы»:

Указываем название (он же заголовок страницы) 404-ой страницы, как оно выводится на вашем сайте. Напомним: на каждом сайте заголовок 404-й страницы разный, но обычно это «Страница не найдена» или «404».

В некоторых случаях CMS, работающая на вашем сайте, не будет прописывать title 404-м страницам автоматически. Так что, если вам не удалось найти точное название, указанным способом — найти битые ссылки на своем сайте в Google Analytics не удастся. Но! Есть лайфхак, как это обойти: можно просто экспортировать все трафиковые страницы за интересующий вас период и проверить их код. Для проверки состояния можно использовать любой сервис, позволяющий получить код ответа сервера нескольких страниц сразу.

4. Ahrefs (нужен VPN)

Это удобный инструмент, который не только ищет битые бэклинки (внешние ссылки), но и пытается соотнести их с анкорами. В июне 2023 года инструмент работает только через VPN, но функционал полностью сохраняется.

Указываем доменное имя сайт и нажимаем кнопку «Проверить битые ссылки» — и получаем результат сразу же:

5. Netpeak Spider(нужен VPN)

Сервис позволяет найти все сломанные URL на вашем сайте буквально в пару кликов. Что немаловажно, он умеет соотносить битые URL с целевым анкором и соответственно целевой страницей.

Netpeak Spider — идеальный инструмент для регулярных SEO-аудитов, мультидоменного сканирования, комплексного анализа, парсинга веб-сайтов и многого другого.

С чего начать работу с Netpeak Spider:

Скачайте Netpeak Launcher. Войдите в аккаунт, используя свой логин: адрес электронной почты и пароль. Учтите, что на данный момент инструменты Netpeak Software совместимы только с Windows OS и Windows Server.
Установите и запустите Netpeak Spider на вашем устройстве. Воспользуйтесь бесплатной пробной версией и просканируйте первые 500 URL-адресов на вашем сайте.

Чтобы найти битые линки, открываем главную страницу сервиса и нажимаем кнопку «Скачать бесплатно». Появится поле для ввода имейла. Указываем его и еще раз нажимаем кнопку «Скачать бесплатно»:

На следующем экране создаем пароль. Обязательно сохраните этот пароль! Он необходим, чтобы в любой момент войти в систему и использовать свою учетную запись Netpeak Launcher.

Нажимаем «Завершить регистрацию» и ждем, пока файл размером около 5 мегабайт скачается на жесткий диск.

Теперь, когда у вас есть учётная запись, вы в одном шаге от улучшения производительности своего веб-сайта через инструменты Netpeak.

Запускаем программу на компьютере, вводим данные для авторизации (логин и пароль). Ждем пока будет установлена связь с сервером (не забудьте активировать VPN).

Чтобы найти битые линки, указываем доменное имя своего сайта в поисковой строке и ждем, пока сайт будет проверен.

Откроется общий отчет, содержащий ошибки, данные по структуре и общую сводку по домену. Откройте инструмент URL Explorer и перейдите во вкладку Reports, далее — нажмите на группу отчетов Erorr и внутри найдите отчет Broken Pages:

Выбираем отчет по ошибке:

Для того чтобы узнать, какие именно URL ссылаются на битую ссылку, кликаем по интересующему нас URL правой кнопкой мыши и в контекстном меню выбираем «Входящие ссылки»:

6. Check My Links

Check My Links — удобное расширение для Google Chrome, позволяющее проверить страницу на наличие битых ссылок.

Особенно удобно, если вы работаете сразу с большим количеством ссылок. Расширение подчеркивает работающие ссылки зеленым, а битые — красным.

Коды ответов HTTP и полные URL-адреса неработающих ссылок расширение отправляет в консоль Google Chrome.

7. Broken Link Checker

Это функциональное расширение найдет все битые ссылки на странице или на всем сайте сразу.

Когда вы редактируете контент с большим количеством ссылок, такое расширение очень удобно. «Проверка неработающих ссылок» сканирует только выбранную страницу или весь сайт целиком.

Отчет по битым линкам будет готов в течение нескольких минут в зависимости от размеров сайта. Отчет создается напрямую, без установки и запуска каких-либо дополнительных файлов.

8. Broken Link Checker (плагин для WordPress)

Для вашей CMS можно подобрать подходящий плагин для поиска битых ссылок.

Например, для WordPress рекомендую плагин Broken Link Checker. Он постоянно обновляется, есть неплохая база знаний и довольно большое комьюнити.

Broken Link Checker позволяет находить как внутренние, так и внешние ссылки на всех страницах, включая посты, комментарии.

Он учитывает битые изображения и перенаправления. Есть уведомления по электронной почте. Также он предотвращает переход поисковых систем по неработающим ссылкам.

Можно искать по прямому URL или по анкорному тексту, например. Редактировать ссылки можно прямо со страницы плагина, не обновляя вручную каждый пост.

Как исправить битые ссылки на сайте

После того, как все сломанные ссылки были собраны, начинаем с ними работать.

Стоит сделать один общий документ с постраничным перечислением всех сломанных линков. В нем нужно сделать три колонки: главная страница, битая ссылка, ссылка замены. Такой подход значительно облегчит работу по исправлению сломанных линков на работающие и не даст запутаться.

Заменить неработающую ссылку

Задача простая — нужно заменить неработающую ссылку на актуальную на всех требующих этого страницах.

Для этого мы заходим на проблемную страницу, смотрим ее адрес и меняем путь ссылки на актуальный вариант:

Для этого логинимся в админке сайта (в используемой CMS) и открываем страницу редактирования записи. Затем меняем URL. В каждой CMS этот процесс может происходить по-разному. Вот, например, как это происходит в самой популярной в мире CMS WordPress:

Если же страница вообще перестала быть актуальной, просто удаляем ее:

Если общее количество сломанных URL не превышает нескольких десятков, то справится с этой задачей можно и вручную. Если же битых ссылок очень много, то стоит использовать тот же Netpeak Spider или Ahrefs, так как они не показывают анкоры URL и догадаться об изначальном предназначении ссылки становится немного легче.

Указанный способ — самый эффективный, но он потребует значительных временных затрат.

Вам не нужно исправлять все-все битые ссылки, которые есть на сайте. Достаточно обновить только те страницы, которые приносят самый большой трафик.

Для того чтобы узнать какие страницы самые посещаемые, воспользуйтесь тем же Google Analytics.

Перенаправить с проблемной страницы

Что можно сделать еще, если первый вариант решения проблемы не подходит? Например, сделать перенаправление с проблемной страницы на работающую.

Внимание! Не следует слишком увлекаться внутренней переадресацией в рамках одного домена. В противном случае могут появиться неприятные последствия.

Например, в виде исключения страницы из индекса или понижения позиций домена в SERP.

Вариант c 301-ым перенаправлением может пригодиться в том случае, когда

меняется уровень вложенности веб-страниц;
переименовываются разделы сайта;
вносятся какие-либо иные изменения в его структурный элемент.

Ваш сайт работает на CMS? Тогда ищите готовый плагин, который позволит настроить редирект страницы без изменений .htaccess.

Для сайта на WordPress можно порекомендовать удобный плагин Redirection. В разделе Add new redirection указываем две ссылки и сохраняем. Все! Редирект настроен. Далее в строке Source URL — вписываем старую ссылку.

В строке Target URL — указываем новую ссылку.

Удалить битую ссылку

Да, вот так просто. Удалять можно тогда, когда на вашем сайте отсутствуют достаточно релевантные страницы под замену URL. Собственно, здесь уже ничего не поделаешь и лучше удалить, чем плодить битые ссылки.

Восстановить удаленные страницы

Безусловно, битых ссылок может быть очень много, и восстановление каждой страницы просто нереальная задача. В этом случае поступите следующим образом.

В GA посмотрите трафик всех удаленных страниц за последние полгода. Страницы с самой большой посещаемостью просто восстановите. Если контента для них нет, то создайте его заново.

Выводы

Битая ссылка — это ссылка на сайт, которая больше не функционирует. Появление такой URL может быть вызвано перемещением или удалением страницы или неправильным написанием адреса URL, например.

Проблемы из-за битых ссылок могут возникнуть как у пользователей, так и у поисковых систем. Пользователи могут столкнуться с попаданием в никуда (они могут расстроиться из-за этого и покинуть сайт). Краулерам поисковых систем также может потребоваться помощь в обходе сайта, если на нем много битых ссылок. Это может негативно сказаться на видимости сайта.
Чтобы избежать появления битых ссылок, вебмастер должен регулярно проверять свои сайты на наличие сломанных URL и при необходимости — обновлять или удалять такие страницы.
Замена битых ссылок на работающие — хорошо для SEO.
Вы можете обнаружить неработающие ссылки в Яндекс.Вебмастере или специализированных инструментах, например, Hexometer.
Битые ссылки в sitemap могут нанести вред ранее проводимому SEO. Рекомендуется регулярно удалять устаревшие или неработающие URL-адреса из файла sitemap — это гарантирует, что поисковые системы просканируют и проиндексируют самую актуальную версию контента на страницы.
Чтобы сохранить ранее сделанное SEO, вы также можете использовать 301-й редирект для перенаправления пользователей.

Таким образом, всегда можно найти наиболее подходящее решение и сделать сайт удобнее для целевых посетителей.