Автоматизация в SEO и используемые инструменты

Редакция «Текстерры»

Одним из самых «богатых» в этом плане был 2015 год. И речь идет не столько о хит-параде событий, как о том, что многие вещи, которые ранее рассматривались, скорее, как тренды или эпизодичные события, окончательно сформировались в виде тенденций и констант, которые влияют на рынок в целом. Сюда можно отнести необходимость использования автоматизации в работе, изменения в алгоритмах поисковых систем, ну и кризис в экономике, куда уже без него.

Все эти изменения необходимо учитывать, чтобы не только оставаться на плаву, в условиях высококонкурентного рынка, но и расти. Без этого в компании начинается стагнация, а затем в какой-то момент приходит понимание того, что «лавочку» пора прикрывать.

Но мы-то с вами не такие – мы понимаем, что, как говорила Алиса, нужно «бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее». Вот только нужно еще и убедиться в том, что направление движения выбрано правильно :)

Еще в прошлом году я начал переходить к новой схеме сотрудничества с клиентами, в рамках которой различные работы по SEO предлагаются как услуга с почасовой оплатой. Мы потратили немало времени, чтобы сформулировать различные действия в рамках проекта в виде отдельных задач, стандартизировать их и оценить по количеству затраченного на них времени. Благодаря четкому пониманию, что нужно сделать для выполнения той или иной задачи, найти решения автоматизации определенных процессов стало гораздо проще. Но главный плюс – это, конечно же, прозрачность взаимодействия с клиентом, гибкость планирования работы и бюджетов.

Если говорить о применении в работе различных программ и сервисов, которые помогают автоматизировать или существенно ускорить те или иные действия, у меня есть довольно большой опыт их использования. С одними я начал работать еще во времена, когда работал как независимый специалист, а потребность в других появилась уже в процессе создания и развития собственной SEO-компании.

В этой статье я как раз и хочу поделиться с вами собственным опытом, рассказав о программах и сервисах, которые используются в работе мной и моими сотрудниками. Наверное, многие из перечисленных инструментов вам уже известны, но далеко не все знают, в чем разница между, казалось бы, аналогичными по возможностям инструментами от разных разработчиков, и в чем особенности работы каждого из них.

Надеюсь, это поможет вам найти эффективное решение для выполнения тех или иных задач.

Направления автоматизации

Стремление к автоматизации типовых процессов и однообразных задач – вполне естественное состояние для любой IT-компании. А в SEO можно автоматизировать очень многое, хотя на первый взгляд это может и казаться неочевидным. И дело даже не в избавлении от рутины и не особо интересных задач. Основной плюс – возможность повысить рентабельность бизнеса и работать быстрее, не теряя при этом в плане качества.

В первую очередь в SEO можно автоматизировать (частично или полностью) следующие процессы:

• технический аудит;
• сбор семантического ядра;
• анализ конкурентов;
• постановка задач и управление проектами;
• отчетность перед клиентами.

Для решения всех перечисленных задач используются самые разные инструменты: если выстроить работу с ними в виде удобной для себя системы, можно повысить продуктивность в разы. Кратко рассмотрим эти моменты.

Почти по каждому софту или сервису можно написать полноценный мануал, поэтому я решил выделить основные возможности и перечислить сами инструменты, а вы уже, если вас что-то из этого заинтересует, сможете заняться их изучением подробнее.

Технический аудит

Оценка качества сайта и устранение технических ошибок – в большинстве случаев это будет первый этап работы над любым проектом. Если заявок на продвижение приходит много или вам попался «пациент» с тысячами страниц – со свободным временем можно попрощаться. Но ведь мы тут говорим об автоматизации, а значит, самое время обратить внимание на специализированный софт, который решит проблему.

На мой взгляд, лучше всего с задачей технического аудита справляется такая программа, как Screaming Frog SEO Spider.

Разница между ними в том, что первый инструмент, по сути, предлагает практически все, что может пригодиться в работе специалисту, но является платным и стоит £99 фунтов ($140). Вторая программа – бесплатная, но предлагает меньше возможностей, работает медленнее и больше подходит для анализа небольших сайтов.

Screaming Frog SEO Spider

Что умеет Screaming Frog SEO Spider? Программа сканирует сайт и выводит такую информацию, как:

• данные отдельно по каждой из страниц, с возможностью экспорта в формате .xls, .xlsx и .csv;
• URL с различным ответом сервера, что позволяет с легкостью находить страницы с ошибками (404) и редиректами (3xx);
• страницы с некорректными метатегами, например, пустыми Tiitle/Description, их дублями, заголовками длиннее 70 символов и т. д.;
• объем контента на страницах, а также количество символов в Title/Description, выводит информацию по заголовкам H1;
• статистика по изображениям: размер, описание и заголовок изображения (alt и title);
• данные по внутренней перелинковке, а также исходящим ссылкам с конкретной страницы;
• встроенный инструмент для генерации карты сайта в xml-формате;
• и другие полезные возможности.

Одна из самых приятных «плюшек» программы – возможность пакетного экспорта информации различного типа для дальнейшей обработки в Excel. Например, можно быстро получить список 404-страниц, определить, где на сайте нужно доработать метатеги или добавить дополнительный контент и т.п. Прекрасный инструмент для автоматизированного технического аудита, который позволяет сэкономить немало времени. К тому же, есть версия для Mac.

Основные преимущества Screaming Frog SEO Spider:

• функционал – он реально крутой, здесь есть все, что необходимо для проведения комплексного технического аудита;
• высокая скорость работы – даже при сканировании сайтов с тысячами страниц;
• данные представлены в удобном виде, с разбивкой по вкладкам;
• есть версия для Mac;
• позволяет получить максимально полную информацию про сайт, достойных аналогов практически нет.

Недостатки Screaming Frog Spider:

• пожалуй, единственный ощутимый минус, это цена. $150 при текущем курсе – это немало. Особенно, если покупать несколько лицензий для команды;
• может «вылетать» из-за нехватки оперативной памяти, при анализе очень больших проектов, с количеством страниц около 100k;
• интерфейс только на английском языке. В принципе, не проблема, но, все же, некоторые глубокие настройки могут быть непонятны пользователю.

Netpeak Spider

Netpeak Spider – своего рода упрощенный аналог предыдущей программы. В отличие от нее имеет интерфейс на русском языке. Он также умеет показывать основную информацию относительно SEO-параметров найденных страниц, ошибки и дубликаты Title/Description, также может экспортировать результаты в формате, совместимом с Excel.

Но бесплатность продукта вынуждает идти на определенные компромиссы: функционал и скорость работы не дотягивают до уровня Screaming Frog. И если для небольших сайтов на несколько страниц Netpeak Spider подходит, то с проектом 2-3 тысячи страниц и больше справиться ей будет сложно.

Для начала вполне можно обойтись и Netpeak Spider, но я бы все же рекомендовал приобрести лицензию на Screaming Frog. Поверьте, этот инструмент стоит потраченных на него денег. Кроме того, на официальном сайте доступна бесплатная версия с ограниченным функционалом.

Основные преимущества Netpeak Spider:

• возможность просканировать и получить основную информацию о страницах сайта;
• простой и понятный интерфейс с русскоязычной локализацией;
• программа полностью бесплатна.

Недостатки Netpeak Spider:

• плохо подходит для работы с многостраничными сайтами (несколько тысяч страниц и более);
• меньше, по сравнению со Screaming Frog, возможностей.

Сбор семантического ядра

Сбор даже относительно небольшого количества ключевых слов вручную, при помощи Wordstat.Yandex.ru, будет делом утомительным, и уж точно небыстрым. Учитывая тот факт, что качественное семантическое ядро является очень важным для эффективной оптимизации и раскрутки сайта, об автоматизации работы по этому направлению стоит задуматься в первую очередь. В этом контексте я бы рекомендовал обратить внимание на ряд следующих инструментов.

Key Collector

Key Collector – для тех, кто работает в сфере продвижения сайтов, да и онлайн-маркетинга в целом, это мастхэв-инструмент, пользу которого сложно переоценить.

Среди возможностей данной программы:

• парсинг ключевых слов из Wordstat, поисковых подсказок и ряда других источников;
• фильтрация фраз в ручном и автоматическом режиме, при помощи стоп-слов;
• анализ неявных дублей и анализ групп;
• поиск релевантных страниц и определение позиций;
• выгрузка запросов из Google Analytics и Яндекс.Метрики;
• определение частотности и более чем 70 параметров для оценки ключевых фраз;
• интеграция с полезными сервисами, такими как MegaIndex, Rookee, SpyWords, Prodvigator и другие.

Впечатляющий набор возможностей. Причем это – далеко не все функции Key Collector. Стоимость лицензии на данный момент составляет всего 1700 рублей.

Основные преимущества Key Collector:

• богатый функционал для решения самых разных задач, связанных со сбором семантического ядра. В целом, программа лучшая в своем роде;
• регулярное обновление с учетом изменений в работе поисковых систем и интегрированных сервисов;
• нетребовательность к ресурсам ПК;
• доступная цена.

Недостатки Key Collector:

• при работе с очень большим количеством запросов (например, 100k) может вылетать.

Букварикс

Букварикс – еще одна программа, которая позволяет делать выборку из базы ключевых слов внушительных размеров – в последней актуальной версии 1.9 (за 23 февраля 2016 года) это был 1 миллиард 335 миллионов запросов.

Программа работает очень быстро, данные можно получить буквально за несколько секунд. И что больше всего удивляет – Букварикс совершенно бесплатный! В отличие от той же Базы Пастухова, здесь отсутствуют удобные возможности фильтрации и другой работы с ключевыми словами, и разработчики обещают не делать программу платной, пока не будут реализованы подобные расширенные возможности.

В общем, если есть бюджет – можно покупать базу Макса Пастухова, если же свободных денег нет, но есть Key Collector и хорошие знания Microsoft Excel, можно сэкономить и успешно использовать Букварикс.

Основные преимущества Букварикс:

• очень высокая скорость работы;
• база запросов чистится и обновляется раз в месяц, иногда и чаще;
• скачать программу можно совершенно бесплатно.

Недостатки Букварикс:

• занимает много места на диске – 60+ гигабайт;
• нет возможностей для качественной фильтрации, нужна постобработка выборки.

Rush Analytics

Rush Analytics – относительно новый сервис, который успел заслужить высокую оценку со стороны специалистов, превратив, по словам его разработчиков, создание семантического ядра «из ночного кошмара и рутины в быструю и интересную задачу».

Кроме парсинга ключевых слов с Wordstat, а также поисковых подсказок «Яндекса» и Google, Rush Analytics предлагает функцию автоматической кластеризации запросов, которую можно назвать основным аргументом в пользу использования данного сервиса.

Речь идет о группировке запросов по тематическим кластерам, которая является одним из основных этапов работы над семантическим ядром. Если делать это вручную, при тысячах запросов времени может занять очень много, а тут, по сути, нажал кнопку – и ждешь завершения процесса.

Основные преимущества Rush Analytics:

• парсинг происходит на стороне сервиса, что избавляет от необходимости покупать прокси и ускоряет работу благодаря многопоточности;
• парсинг осуществляется на автомате, что экономит много времени для специалиста.

Недостатки Rush Analytics:

• интерфейс сложноват;
• при кластеризации большого количества запросов стоимость может быть довольно высокой.

Анализ конкурентов

Лучше всего учиться не на своих ошибках, а на успехах других. Анализ конкурентов может быть отличным способом получения действительно ценной информации, которую можно использовать для продвижения собственных проектов. Основными направлениями такого анализа является семантика и ссылочный профиль.

Для определения ключевых слов, по которым пользователи переходят с поиска, получения информации о позициях и объявлениях, которые они использую в контексте, можно использовать такой сервис как SpyWords.ru.

SpyWords

На первый взгляд, может показаться, что между ними нет какой-либо особой разницы, но, если вы ориентированы на Рунет и вам нужна информация по «Яндексу», больше подойдет SpyWords, да и тарифные планы будут дешевле.

Постановка задач и управление проектами

Это важный пункт. От этого зависит эффективность работы, а значит, и получаемая прибыль. Автоматизация этих моментов позволяет избежать хаоса, и знакомых многим моментов, когда выполнение важных задач тянется неделями, что-то «теряется» и находится уже перед дедлайном, а о некоторых работах и вовсе благополучно забывают.

«Битрикс24»

Наверное, 2/3 агентств, если не больше, сейчас используют «Битрикс24» – облачный сервис управления задачами и проектами, который позволяет эффективно организовать работу в компании.

Например, для каждого клиентского проекта создается группа в системе. В каждом проекте есть несколько родительских задач – SEO продвижение, контекстная реклама, техническое сопровождение (если оно на нас), отчетность. Вот пример конкретной задачи, с конкретным временем и длительностью выполнения.

Основные преимущества «Битрикс24»:

• наглядное представление задач по проекту и исполнителю, что повышает качество управления;
• удобная постановка задач и расчет времени на выполнение;
• возможность масштабирования путем подключения приложений из маркетплейса;
• есть возможность планирования по диаграмме Ганта;
• кроссплатформенный десктопный клиент;
• можно обсуждать задачи, хранить историю и т. д.

Недостатки «Битрикс24»:

• функционал системы очень широкий, что может вызвать сложности в плане настройки под себя. Попытка сделать все и сразу, похоже, ни к чему хорошему не привела;
• нет модуля взаиморасчетов и функционала контроля рассрочки (частичных оплат).

Система управления задачами в «Битрикс24» интегрирована с документами и календарем, что позволяет эффективно их делегировать и контролировать. Благодаря интеграции с Google Docs и Microsoft Office Online, обеспечивается эффективная работа с документами. Есть встроенная CRM для работы с клиентами и много других полезных возможностей.

Есть и другие интересные решения, например, AmoCRM, которая ориентирована на отдел продаж, или Trello.com – для управления проектами в небольших командах. Но все они имеют более узкую специализацию, в отличие от «Битрикс24», которая предоставляет комплексное решение для управления работой в компании.

Отчетность перед клиентами

Отправка отчетов является одной из ключевых составляющих работы в клиентском SEO. Таким образом, оптимизатор демонстрирует результаты выполненной работы, а клиент, в свою очередь, видит динамику развития проекта.

Обычно отправка отчетов происходит раз в месяц. Но даже тогда она может отнимать немало времени. Особенно, если клиентов на продвижение несколько десятков, да еще и показатели, которые хочет видеть каждый из них, отличаются.

Конечно, в таком случае автоматизация тоже бы очень пригодилась, вот только, как оказалось, инструментов для этого пока никто не придумал. Поэтому, мы разработали собственный сервис SEO-reports.ru, который предназначен для автоматической генерации отчетов по SEO для клиентов.

Он подходит как для независимых специалистов, так и для компаний, предоставляя такие возможности, как:

• интеграция с Google Analytics, «Яндекс.Метрикой» и сервисами мониторинга позиций;
• возможность вывода KPI, которых нет в стандартных отчетах;
• индивидуальная структура отчета для каждого проекта, которая запоминается системой;
• генерация отчета в один клик, с экспортом в PDF или Word.

Таким образом, основная задача, которую решает SEO-reports, это экономия времени и возможность создания индивидуальных отчетов в визуально приятном и понятном для клиента виде.

К преимуществам SEO-repo rts можно отнести:

• функционал, достаточный для построения индивидуального отчета под любого клиента;
• гибкая настройка KPI и вывода других типов данных по проекту;
• интеграция с разного рода сторонними сервисами для оптимизаторов;
• настройки в конструкторе: их система запоминает для генерации отчета в дальнейшем, достаточно всего лишь нажать нужную кнопку.

Правда, есть и вещи, которые необходимо доработать:

• нет возможности автоматической отправки отчетов;
• отсутствует детализация графиков по дням;
• пока не умеем выводить данные по контекстной рекламе.

В общем, плюсов внедрения автоматизации немало, и положительный эффект будет как для агентства, так для клиентов, с которыми работает компания. В использовании подобных инструментов и сервисов, каждый найдет что-то полезное для себя. Благодаря этому освобождается немало времени, которое можно потратить на более важные, а главное – интересные задачи.

На что еще обратить внимание

Обычно, если какая-нибудь из программ или сервисов мне подошла и хорошо решает поставленные задачи, другие инструменты я не использую. Если провести аналогию – Microsoft Office отлично справляется с работой с офисными документами, поэтому нет смысла тратить время на тестирование альтернативных программных пакетов.

Правда, у каждого из нас свои предпочтения, и некоторые специалисты предпочитают комбинировать в своей работе различные инструменты, что и неудивительно, ведь, как говорится, на вкус и цвет все фломастеры разные :)

Поэтому предлагаю вам подборку программ и сервисов, которые тоже успешно справляются с автоматизацией разного рода задач по SEO. Возможно, что-то из этого списка пригодится вам в работе.

WebSite Auditor. Программа для проведения технического аудита, которая имеет интерфейс на русском и предлагает ряд возможностей, которых нет в альтернативных решениях. Например, можно посмотреть статистику по социальным сигналам для отдельных страниц сайта, настроить генерацию брендированного отчета, есть встроенный планировщик задач и т. д.

Xenu' s Link Sleuth. Одна из самых старых программ-спайдеров, которая позволяет найти «битые» ссылки, неуникальные заголовки, показывает исходящие ссылки со страницы и предоставляет ряд других возможностей. В общем, функций немного, но они, как говорится, «на все времена». К тому же скачать Xenu можно бесплатно.

Netpeak Checker. Софт, известный ранее под названием «Определяйка». Является разработкой компании Netpeak, предназначен для массового анализа и сравнения сайтов по различным параметрам. Например, возраст, количество проиндексированных страниц, регистрация в ЯК/DMOZ и т. д.

SERP Parser. Программа для определения позиций по заданным запросам в поисковых системах. На нее стоит обратить внимание тем оптимизаторам, которые ведут сразу несколько проектов и проверяют позиции по тысячам ключевых слов. В таком случае приобретение лицензии на SERP Parser ($30) будет гораздо выгоднее, чем использование сервисов.

SEMrush. Сервис анализа конкурентов для определения ключевых слов, по которым они видимы в поиске и контекстной рекламе. Ориентирован больше на Google, может пригодиться при работе с проектами, ориентированными на англоязычный сегмент Интернета.

Semparser. Сервис для кластеризации семантики, который умеет разбивать запросы по тематическим группам, на основе поисковой выдачи Яндекса и Google. Умеет определять геозависимость, и коэффициент «коммерческой важности» запроса, а также парсить подсветки слов из сниппетов Яндекса.

Keyword Tool. Хороший условно-бесплатный инструмент для быстрого подбора ключевых слов, на основе поисковых подсказок Google, который также подтягивает информацию из ряда других источников. По сути, альтернатива Keyword Planner, которая позволяет выполнять работу оперативнее.

MegaIndex. ru. Система предоставляет целый набор инструментов для анализа сайта и сбора запросов для расширения семантического ядра. Большая часть возможностей сервисов предоставляются бесплатно, информация актуальна и постоянно обновляется.

FastTrust. Разработка Александра Алаева, которая призвана упростить жизнь коллег по цеху при покупке ссылок для продвижения сайтов. На основе специального алгоритма она рассчитывает так называемый «траст» доноров (и их спамность), что позволяет покупать действительно качественные обратные ссылки, которые передают максимальный вес.

ComparseR. Еще один продукт от команды Александра Алаева, который не имеет аналогов на рынке. Это специализированный «краулер», предназначенный для глубокого анализа индексации сайта, с множеством настроек, что позволяет «заточить» программу под свои нужды.

JustMagic. Сервис с интересным названием, который предоставляет оптимизатору инструменты для решения задач сразу по нескольким направлениям: подбор семантики для сайта, кластеризация запросов и продвинутый анализ уровня текстовой оптимизации страницы.

SimilarWeb. Полезный инструмент, который позволяет определить посещаемость и источники трафика практически для любого сайта. И хотя данные не отличаются 100% точностью, он может очень сильно пригодится в работе и достойных аналогов на рынке пока нет.

Seo- CRM. Это единственный сервис из моего списка, который пока еще находится в разработке, но уже успел привлечь внимание сообщества. Его особенность в том, что эта CRM изначально разрабатывалась под нужды SEO-компаний. Если вы хотите первыми узнать о публичном запуске, можно оставить адрес своего e-mail в форме.

Стоит ли игра свеч?

В последнее время для вывода сайта в топ нужно прорабатывать такое количество направлений, что каких-то 5 лет назад сеошнику такое только в страшном сне бы приснилось. Но теперь нужно смириться с очевидным фактом – коммерческих ниш с небольшой конкуренцией уже почти не осталось, а поисковые системы эволюционируют настолько быстро, что работать над сайтом необходимо постоянно и комплексно!

Можно создать сайт, который будет лучшим по всем параметрам в середине марта 2016 года. Но далеко не факт, что он останется лидером через каких-то 3–4 месяца, если взять и остановить работу. Оказаться в числе первых – это одно дело, а вот удерживать достигнутый результат – задача еще более сложная. Вот почему «покой нам только снится» :)

Чем сложнее становятся алгоритмы – тем больше будет работы для специалиста по SEO и не только. Внутренняя оптимизация, внешние факторы, контент-маркетинг, крауд-маркетинг – все это необходимые составляющие одного «блюда». И, если убрать один из компонентов, его вкус будет уже неполным. А почивать на лаврах могут только те, кто ничего не делает.

Постоянная аналитика и внедрение – вот основа поискового продвижения на все времена. То, что актуально сегодня, может перестать работать завтра или начать давать совершенно противоположный эффект. Долго, дорого и сложно? Да. Можно ли все это автоматизировать? Конечно.

Безусловно, останутся направления, которые почти не поддаются автоматизации (или сделать ее будет сложно). Например, тот же контент-маркетинг и другая работа, которая имеет творческий характер или требует наличия большого опыта и профессиональных навыков высокого уровня. Но ведь такими вещами и заниматься интересно, это идет на пользу самому специалисту, а со стороны клиента – хорошо оплачивается. А вот все остальное можно и нужно автоматизировать, чтобы освободить больше времени, повысить рентабельность бизнеса, да и просто избавиться от рутины.