В середине лета компания Groupon провела интересный эксперимент. В его ходе маркетологи компании удалили свой сайт из индекса Google. По результатам опыта они установили, что около 60 % прямого трафика на самом деле является естественным поисковым трафиком. Эксперты компании MOZ усомнились в результатах исследования коллег. Они удалили из индекса один из своих сайтов, чтобы найти достоверные ответы на следующие вопросы:
- Как быстро Google удаляет сайт из индекса?
- Существует ли прямая корреляция между падением органического и прямого трафика?
- Можно ли вернуть сайт в индекс и как быстро это происходит?
О результатах эксперимента читайте ниже.
Как полностью удалить сайт из индекса Google
Самый простой, быстрый и надежный способ удаления сайта — инструмент «Удаление устаревшего контента» в панели для веб-мастеров. Этот метод имеет важное преимущество: вы можете вернуть ресурс в индекс с минимальным риском потерять часть URL на длительный срок. Другие способы деиндексации, например, использование команды noindex в файле robots.txt, нельзя назвать быстрыми. Вы будете ожидать удаления ресурса в течение нескольких недель или месяцев. Кроме того, если вы решите вернуть сайт из поискового небытия, ожидание повторной индексации также займет несколько месяцев.
Компания MOZ воспользовалась инструментом, чтобы удалить из индекса свой сайт Followerwonk. Ссылки на сайт стали исчезать из результатов выдачи в течение 2 часов после оформления запроса. Данные о ресурсах есть в разных дата-центрах поисковика, рассредоточенных по всей планете. Поэтому роботы не могут мгновенно удалить все сведения о сайте из индекса.
В ходе эксперимента специалисты MOZ обратили внимание на интересный факт. Естественный поисковый трафик начал сокращаться через два часа после оформления запроса. Однако он не упал до нуля.
Прямой vs. органический трафик
Как отмечалось выше, маркетологи Groupon в ходе своего эксперимента отметили, что теряя органический трафик, они также теряют значительную часть прямых посещений. Это отражается на иллюстрации:
На основании этих данных эксперты Groupon сделали вывод, что около 60 % прямого трафика на самом деле является естественным поисковым трафиком.
В свою очередь, специалисты MOZ не установили явной зависимости между падением поискового и прямого трафика. В ходе эксперимента они зафиксировали падение органического трафика на ресурс Followerwonk. Однако число прямых посещений изменялось незначительно.
Чтобы разобраться с противоречием, специалисты MOZ связались с коллегами из Groupon. Оказалось, Groupon зафиксировал резкое падение прямой посещаемости страниц с длинными URL.
Сайт Followerwonk привлекает львиную долю прямого трафика на главную страницу. Поэтому экспериментаторы MOZ просто не получили достаточного объема данных, чтобы зафиксировать статистически значимое падение прямых посещений. Для страниц с длинным URL, которые удалось отследить, результаты оказались неоднозначными.
Специалисты MOZ не подтвердили прямую корреляцию между падением органического и прямого трафика. Однако результаты эксперимента Groupon нельзя игнорировать, так как MOZ не доказал и отсутствие корреляции между органическими и прямыми посещениями.
Вероятно, системы аналитики фиксируют некоторую часть органического трафика в качестве прямого. Это связано с настройками браузеров, операционных систем и пользовательскими настройками конфиденциальности, которые мешают четко классифицировать посещение.
Возвращение сайта в индекс
Спустя 2 часа после начала эксперимента специалисты MOZ отменили запрос на удаление сайта. Через несколько часов после этого посещаемость сайта восстановилась до нормы.
Вероятно, Google не пришлось повторно индексировать сайт, так как с момента подачи на удаление до ее отмены прошло мало времени. Поисковик успел удалить около 300 000 ссылок на Followerwonk из выдачи всего лишь за 2 часа. Однако он также быстро вернул эти ссылки в выдачу. Это значит, что по заявке Google не удаляет информацию об индексации ресурса, а просто скрывает ссылки на него в SERP. Полная деиндексация происходит позже.
Что будет, если продлить период клинической поисковой смерти
Эксперименты с сайтами Groupon и Followerwonk продолжались несколько часов. Однако специалисты MOZ захотели отследить судьбу сайта, который окажется вне индекса на длительный период времени. Отчаянные экспериментаторы не убедили руководство дать добро на длительное пребывание вне индекса корпоративных проектов. Поэтому для теста использовался личный блог одного из сотрудников, который, вероятно, часто опаздывал на работу и косо смотрел на начальство.
Маркетологи подали заявку на удаление блога из индекса. Ссылки на него исчезли из выдачи в течение нескольких часов. Заявка на отмену деиндексации была подана спустя почти три дня. Как и в предыдущих экспериментах, все URL вернулись в индекс в течение нескольких часов. Изменения посещаемости сайта-коматозника можно увидеть на иллюстрации:
Поскольку URL вернулись в выдачу в течение нескольких часов после отмены заявки, можно сделать вывод, что Google не выполнял повторное сканирование сайта. Поисковик удалил линки на ресурс из выдачи, сохранив сведения об индексации.
Эксперты MOZ предположили, что Google удаляет результаты индексирования сайта спустя несколько недель после подачи заявки. В этом случае может понадобиться повторная индексация ресурса. Однако специалисты не решились проверить эту гипотезу на практике, так как их коллега не захотел подвергать свой блог настолько опасному испытанию.
С того света возвращаются
По итогам экспериментов специалисты MOZ сделали следующие выводы:
- Некоторая доля органического трафика фиксируется в качестве прямого по техническим причинам. Однако экспериментальных доказательств прямой корреляции между падением естественного поискового и прямого трафика нет.
- Если вы случайно подали заявку на деиндексацию сайта, ничего страшного не произойдет. Если вы отмените заявку в течение нескольких дней, посещаемость ресурса быстро восстановится.
- Вы столкнетесь с проблемами, если не отмените заявку в течение нескольких недель. Скорее всего, поисковику придется повторно индексировать ваш сайт, а вам придется ждать его включения в индекс. Это предположение не подтверждено экспериментом.
Использованы материалы We Removed a Major Website from Google Search, for Science by Cyrus Shepard и Experiment Shows Up To 60% Of “Direct” Traffic Is Actually Organic Search by Gene McKenna.
