Появились сообщения о том, что издания, принадлежащие Shkulev Media Holding запретили нейросетям, в том числе Яндекса, доступ к своему контенту. Это, например, E1.ru, NGS.ru, «Фонтанка», «Антенна-Телесемь», «Вокруг Света» и другие.
В файлах robots.txt сайтов этих изданий появились запретительные директивы для поисковых нейросетей YandexAdditional, GPTBot и ChatGPT-User.
То есть, издания запретили использовать свой контент, как источник ответов нейросетей. Такой прогресс оказался совершенно ненужным.
Зачем скрывать сайт от нейросетей
Дело в том, что, например, сервис «Нейро» Яндекса позволяет пользователям поисковика получить ответ на свои вопросы без посещения первоисточника – прямо на странице поиска. Причем, с надписью «Создано на базе источника нейросетью YandexGPT, возможны неточности». То есть, посетитель не перейдет на сайт, реклама не открутится, продвижения не будет. Сам же посетитель может быть введен в заблуждение полученным ответом, о чем его и предупреждает поисковик.
Отключение нейросетей от своих источников информации ведется в рамках A/B-тестирования, чтобы определить, как это влияет на количество переходов на сайты. Причина простая – боязнь падения трафика.
Павел Лемишевский, SEO-специалист TexTerra:
«Быстрые ответы в Яндексе существуют уже давно, просто сейчас, с 16 апреля 2024 года, к ним подключили нейросеть.
Из жирных минусов конкретно для сайта, который попадет в быстрые ответы, – это потеря кликов и трафика.
Но у медали есть и обратная сторона. В быстрые ответы попадают сайты не только из топ-10 выдачи. Поэтому сайт, который не находится в топе выдачи, может пробиться в быстрые ответы и получить трафик оттуда, в случае если пользователи пойдут читать о волнующем их вопросе на сайт-источник.
Поэтому решение, запрещать доступ нейросетей к сайту или нет, надо принимать, учитывая тематику сайта и его позиции в выдаче. То есть, нужно смотреть по проекту, анализировать его через вебмастера/метрику. Возможно, что в ряде случаев быстрые ответы хорошо сработают.
У нас был проект Admaer, в котором мы специально прокачивали быстрые ответы, потому что тематика проекта настолько сложная, что даже получая быстрый ответ, пользователю приходилось переходить в материал чтобы разобраться в нюансах».
Как закрыть сайт для нейросетей
Среди поводов для закрытия сайта от нейросетей – снижение нагрузки на серверы: рыскающие по ним боты могут тормозить работу сайта. Именно по этой причине доступ нейросетям был запрещен на Дзен.
Чтобы запретить индексацию всего сайта, выполните следующие шаги:
- Откройте файл robots.txt в корневом каталоге вашего сайта: https://название-сайта.ru/robots.txt (например, у TexTerra он находится по адресу /robots.txt).
- Чтобы закрыть доступ ChatGPT к вашему сайту, добавьте в файл запись
- User-agent: GPTBot
Disallow: /
- User-agent: GPTBot
- Чтобы закрыть доступ Bard и VertexAI к вашему сайту, добавьте в файл запись
- User-agent: Google-Extended
Disallow: /
- User-agent: Google-Extended
- Чтобы закрыть доступ YandexGPT к вашему сайту, добавьте в файл запись
- User-Agent: YandexAdditional
Disallow: /
- User-Agent: YandexAdditional
- Сохраните изменения в robots.txt.
Но запрет начинает действовать только с момента его внесения в файл. Весь ваш контент, который нейросети уже видели и на котором обучались, останется для них «открытым». Но все новое на сайте, публикуемое после запрета, в ответы нейросетей уже не попадет.
Читайте также:
На какие группы в соцсетях стоит подписаться, если интересуетесь интернет-маркетингом и бизнесом
Какие нейросети делают поисковую оптимизацию сайта: обзор инструментов