mail@texterra.ru
Заказать звонок
Заказать услугу
Позвонить: 8 (800) 775-16-41
Заказать звонок

Нашествие ботов: как его опознать и что с ними делать

Резкое увеличение посещаемости сайта – далеко не всегда хорошая новость.
Нашествие ботов: как его опознать и что с ними делать
Дата публикации: 16 мая 2022
Никита Шевцев
1 134
Время чтения: 12 минут
Нашествие ботов: как его опознать и что с ними делать Редакция «Текстерры»
Редакция «Текстерры»

Что такое боты

Боты – это программы, которые так же, как и люди, посещают веб-ресурсы и выполняют конкретные задачи. Задачи эти могут быть разные – и плохие для вебмастера, и хорошие. Среди плохих – распространение вирусов и сбор адресов email владельцев сайтов и зарегистрированных пользователей. Хороших ботов сравнительно меньше – они занимаются, в основном, индексацией страниц сайта для поисковых систем и анализом контента для этих же задач.

Поисковые боты «Яндекса», Google и других систем не вызывают всплеска посещений на сайте, чего не скажешь о «плохих» программах. Сопровождающийся их приходом подъем трафика не сможет положительно сказаться на позициях вашего сайта в поисковой выдаче, ведь боты, как правило, ведут себя не так, как люди, – они уменьшают глубину просмотра и уменьшают среднее время нахождения посетителей на сайте, тем самым давая сигнал поисковым системам к понижению сайта в выдаче.

Алгоритмы Яндекс.Метрики и Google Analytics уже давно научились отличать даже самые продвинутые программы от людей. Боты, как правило, бездействуют большую часть сеанса, часто «читают» второстепенный контент, делают странные движения курсором и много других действий, которые реальный пользователь предпринимать бы не стал.

Чем боты вредны для сайта

Понижение позиций в поисковой выдаче

Боты не только вводят вас в замешательство при анализе источников всплеска трафика, но и негативно влияют на ранжирование ресурса. Поисковой трафик, как следствие, начинает падать – Яндекс и Google видят, что поведение пользователей на вашем сайте меняется в негативную сторону и понижают его позиции в выдаче. В этом случае нелишним будет предупредить Яндекс через техподдержку, что всплеск трафика может быть обусловлен притоком ботов и попросить не учитывать их поведенческие показатели при ранжировании материалов в поиске.

Попадание сайта в бан

Кроме того, из-за ботов ваш ресурс может легко попасть в бан поисковой системы за накрутку поведенческих факторов и посещаемости. Доказать обратное у вас после этого вряд ли получится. Также бан ваш сайт может получить и в рекламных сетях, так как боты могут мискликать по рекламе (то есть промахиваться, попадая в рекламу) и делают это довольно часто, ведь они кликают в рандомные места на сайте, без разбора.

Перегрузка сервера

Слишком большой единовременный наплыв ботов также может перегрузить сервер, на котором расположен ваш сайт – это уже называется DDoS-атакой. В результате ресурс может перестать быть доступным, что влечет за собой непредвиденные расходы по возвращению сайта «к жизни». Но противодействие DDoS-атакам – тема для отдельной статьи.

Как понять, что ваш сайт посещают боты

В последнее время боты – частые гости большинства онлайн-ресурсов. В Яндекс.Метрике с недавних пор можно посмотреть количество визитов с учетом захода ботов и без них. Сравнивая эти два показателя по дням, можно понять, когда именно ресурс посещало больше всего «фейковых» пользователей.

Яндекс.Метрика – просмотр статистики

Как в Яндекс.Метрике посмотреть статистику без ботов

Обнаружить ботную активность также можно, руководствуясь логическим анализом статистики. Если вы наблюдаете всплеск количества визитов на сайт без видимых причин, это повод отправиться на поиски источника такого количества переходов. Для этого можно посмотреть тип переходов – если большая часть из них окажутся прямыми, это может говорить о том, что сайт наводнили боты. Уменьшение количества отказов, времени, проведенного на сайте, и глубины просмотров также может говорить о посещении ресурса ботами.

Надо отметить, что иногда причиной всплеска прямого трафика становятся реальные люди, которые заходят на сайты и кликают по его разделам, преследуя те же цели, что и боты, из-за чего их нередко называют человекоботами. Делают они это, конечно же, за деньги. Но это тема для отдельной статьи. Но вернемся к ботам.

Определить визиты программ можно при помощи инструмента «Вебвизор» в Метрике. Он позволяет посмотреть, какие действия совершал пользователь на странице вашего сайта. Ботов определить легко – большую часть времени они бездействуют, читают не то, что обычно интересно людям и скроллят страницу с такой скоростью, на которой прочитать что-либо невозможно.

Как кликают боты на сайтах

Тепловая карта сайта в Вебвизоре Яндекс.Метрике

Как защититься от ботов на сайте

Для начала надо следует выяснить, откуда приходят спам-программы. Для этого найдите отчет по реферальному трафику в Google Analytics и посмотрите на источники с показателем отказов 100% и 0%, а также с количеством сессий 10 и более. Скорее всего это боты.

Отчет по реферальному трафику в Google Analytics

Как выглядит отчет по реферальному трафику в Google Analytics

Также проверьте, не приходят ли к вам гости со следующих сайтов:

  • buttons-for-website.com
  • 7makemoneyonline.com
  • ilovevitaly.ru
  • resellerclub.com
  • vodkoved.ru
  • cenokos.ru
  • 76brighton.co.uk
  • sharebutton.net
  • simple-share-buttons.com

Все визиты с этих сайтов – фейковые, дальше источники можно даже не проверять. Можно также заглянуть в полный список «ботных» сайтов, который подготовили ребята из SEOanalytics.pro. Найдите основные домены, с которых боты посещают ваш ресурс, и скопируйте их в файл для дальнейшей блокировки.

Заблокировать переход ботов на ваш сайт можно при помощи изменений в файле .htaccess. Добавьте в файл следующий код:

RewriteEngine On

Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*buttons-for-website\.com\ [NC,OR]

RewriteRule .* – [F]

Это вариант кода для домена buttons-for-website.com и всех его поддоменов. Если источник переходов у вас другой, просто замените *buttons-for-website\.com\ в третьей строчке на свой вариант.

Еще один уровень защиты от ботов – установка на сервер межсетевого экрана – брандмауэра (firewall). На некоторых хостингах он установлен по умолчанию, но где-то для его настройки надо обратиться в техподдержку. Если же у вас собственный сервер, брандмауэр может установить сисадмин.

Также не помешает настроить фильтрацию в Google Analytics. Для этого зайдите в «Администратор», а затем в столбце «Представления» нажмите первый пункт «Настройки представления».

Фильтрация ботов в Google Analytics

Как настроить фильтрацию ботов в Google Analytics

Найдите в самом низу появившейся вкладки пункт «Фильтрация ботов» и поставьте галочку напротив строки «Исключить обращения роботов и "пауков"», если ее там нет.

Это нивелирует влияние активности ботов на ранжирование в поисковике.

Фильтрация ботов

Настройка фильтрации ботов в Google Analytics

Постоянная профилактика

Если с проблемой наплыва ботов вы до сих пор не встречались или просто их не замечали, это не повод расслабляться. Под атаки этих программ зачастую попадают небольшие и средние сайты с посещаемостью от 1000 и более уников в сутки. Сильнее всего наплыв ботов влияет именно на такие ресурсы, так что следить за активностью ботов нужно регулярно – для профилактики.

9 ошибок в верстке статьи,  из-за которых вы теряете читателей

9 ошибок в верстке статьи, из-за которых вы теряете читателей

Оглавление
Сейчас читают

© «TexTerra», при полном или частичном копировании материала ссылка на первоисточник обязательна.
Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите ctrl + enter.

Закажите бесплатную консультацию

Оставьте свои контакты,
мы свяжемся с вами в ближайшее время.

Ошибка заполнения!