Что такое боты
Боты – это программы, которые так же, как и люди, посещают веб-ресурсы и выполняют конкретные задачи. Задачи эти могут быть разные – и плохие для вебмастера, и хорошие. Среди плохих – распространение вирусов и сбор адресов email владельцев сайтов и зарегистрированных пользователей. Хороших ботов сравнительно меньше – они занимаются, в основном, индексацией страниц сайта для поисковых систем и анализом контента для этих же задач.
Поисковые боты «Яндекса», Google и других систем не вызывают всплеска посещений на сайте, чего не скажешь о «плохих» программах. Сопровождающийся их приходом подъем трафика не сможет положительно сказаться на позициях вашего сайта в поисковой выдаче, ведь боты, как правило, ведут себя не так, как люди, – они уменьшают глубину просмотра и уменьшают среднее время нахождения посетителей на сайте, тем самым давая сигнал поисковым системам к понижению сайта в выдаче.
Алгоритмы Яндекс.Метрики и Google Analytics уже давно научились отличать даже самые продвинутые программы от людей. Боты, как правило, бездействуют большую часть сеанса, часто «читают» второстепенный контент, делают странные движения курсором и много других действий, которые реальный пользователь предпринимать бы не стал.
Чем боты вредны для сайта
Понижение позиций в поисковой выдаче
Боты не только вводят вас в замешательство при анализе источников всплеска трафика, но и негативно влияют на ранжирование ресурса. Поисковой трафик, как следствие, начинает падать – Яндекс и Google видят, что поведение пользователей на вашем сайте меняется в негативную сторону и понижают его позиции в выдаче. В этом случае нелишним будет предупредить Яндекс через техподдержку, что всплеск трафика может быть обусловлен притоком ботов и попросить не учитывать их поведенческие показатели при ранжировании материалов в поиске.
Попадание сайта в бан
Кроме того, из-за ботов ваш ресурс может легко попасть в бан поисковой системы за накрутку поведенческих факторов и посещаемости. Доказать обратное у вас после этого вряд ли получится. Также бан ваш сайт может получить и в рекламных сетях, так как боты могут мискликать по рекламе (то есть промахиваться, попадая в рекламу) и делают это довольно часто, ведь они кликают в рандомные места на сайте, без разбора.
Перегрузка сервера
Слишком большой единовременный наплыв ботов также может перегрузить сервер, на котором расположен ваш сайт – это уже называется DDoS-атакой. В результате ресурс может перестать быть доступным, что влечет за собой непредвиденные расходы по возвращению сайта «к жизни». Но противодействие DDoS-атакам – тема для отдельной статьи.
Как понять, что ваш сайт посещают боты
В последнее время боты – частые гости большинства онлайн-ресурсов. В Яндекс.Метрике с недавних пор можно посмотреть количество визитов с учетом захода ботов и без них. Сравнивая эти два показателя по дням, можно понять, когда именно ресурс посещало больше всего «фейковых» пользователей.
Как в Яндекс.Метрике посмотреть статистику без ботов
Обнаружить ботную активность также можно, руководствуясь логическим анализом статистики. Если вы наблюдаете всплеск количества визитов на сайт без видимых причин, это повод отправиться на поиски источника такого количества переходов. Для этого можно посмотреть тип переходов – если большая часть из них окажутся прямыми, это может говорить о том, что сайт наводнили боты. Уменьшение количества отказов, времени, проведенного на сайте, и глубины просмотров также может говорить о посещении ресурса ботами.
Надо отметить, что иногда причиной всплеска прямого трафика становятся реальные люди, которые заходят на сайты и кликают по его разделам, преследуя те же цели, что и боты, из-за чего их нередко называют человекоботами. Делают они это, конечно же, за деньги. Но это тема для отдельной статьи. Но вернемся к ботам.
Определить визиты программ можно при помощи инструмента «Вебвизор» в Метрике. Он позволяет посмотреть, какие действия совершал пользователь на странице вашего сайта. Ботов определить легко – большую часть времени они бездействуют, читают не то, что обычно интересно людям и скроллят страницу с такой скоростью, на которой прочитать что-либо невозможно.
Тепловая карта сайта в Вебвизоре Яндекс.Метрике
Как защититься от ботов на сайте
Для начала надо следует выяснить, откуда приходят спам-программы. Для этого найдите отчет по реферальному трафику в Google Analytics и посмотрите на источники с показателем отказов 100% и 0%, а также с количеством сессий 10 и более. Скорее всего это боты.
Как выглядит отчет по реферальному трафику в Google Analytics
Также проверьте, не приходят ли к вам гости со следующих сайтов:
- buttons-for-website.com
- 7makemoneyonline.com
- ilovevitaly.ru
- resellerclub.com
- vodkoved.ru
- cenokos.ru
- 76brighton.co.uk
- sharebutton.net
- simple-share-buttons.com
Все визиты с этих сайтов – фейковые, дальше источники можно даже не проверять. Можно также заглянуть в полный список «ботных» сайтов, который подготовили ребята из SEOanalytics.pro. Найдите основные домены, с которых боты посещают ваш ресурс, и скопируйте их в файл для дальнейшей блокировки.
Заблокировать переход ботов на ваш сайт можно при помощи изменений в файле .htaccess. Добавьте в файл следующий код:
RewriteEngine On
Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*buttons-for-website\.com\ [NC,OR]
RewriteRule .* – [F]
Это вариант кода для домена buttons-for-website.com и всех его поддоменов. Если источник переходов у вас другой, просто замените *buttons-for-website\.com\ в третьей строчке на свой вариант.
Еще один уровень защиты от ботов – установка на сервер межсетевого экрана – брандмауэра (firewall). На некоторых хостингах он установлен по умолчанию, но где-то для его настройки надо обратиться в техподдержку. Если же у вас собственный сервер, брандмауэр может установить сисадмин.
Также не помешает настроить фильтрацию в Google Analytics. Для этого зайдите в «Администратор», а затем в столбце «Представления» нажмите первый пункт «Настройки представления».
Как настроить фильтрацию ботов в Google Analytics
Найдите в самом низу появившейся вкладки пункт «Фильтрация ботов» и поставьте галочку напротив строки «Исключить обращения роботов и "пауков"», если ее там нет.
Это нивелирует влияние активности ботов на ранжирование в поисковике.
Настройка фильтрации ботов в Google Analytics
Постоянная профилактика
Если с проблемой наплыва ботов вы до сих пор не встречались или просто их не замечали, это не повод расслабляться. Под атаки этих программ зачастую попадают небольшие и средние сайты с посещаемостью от 1000 и более уников в сутки. Сильнее всего наплыв ботов влияет именно на такие ресурсы, так что следить за активностью ботов нужно регулярно – для профилактики.