Заблокированные ресурсы затрудняют обработку роботами ПС Гугл

Заблокированные ресурсы стали появляться в сервисе вебмастер Гугл в 2015 году. Раньше такой информации не было. В корень сайтов блогеры устанавливали для поисковых систем файл robots.txt. Он был примерно одинакового содержания, для Яндекса и Гугла. Но выяснилось, что когда мы в корне сайта размещаем файл robots.txt, с большим количеством запретов, то робот Гугла не может полноценно обработать ряд ресурсов.заблокированные ресурсы

Заблокированные ресурсы — разблокировать

Например, вместе с CSS файлами плагинов, блокируются важные статьи блога. Опция заблокированных ресурсов появилась в админпанеле Гугл вебмастера — «индекс Google». Нажмем эту ссылку и увидим все ресурсы сайта, которые заблокированы.Раньше, чем длиннее был наш файл robots.txt, тем больше Гугл индексировал всякий мусор. Не обращал на этот файл никакого внимания. Приходилось этому как-то противостоять. Поисковая система Гугл, в качестве альтернативы, предлагала устанавливать запретительный «мета-тег robots». Пять месяцев назад установила его по методике, предложенной здесь.

Однако для этого нужно было открыть весь robots.txt, чтобы робот Гугла видел метатег. Вначале так и сделала, но у моих сайтов начались проблемы в Яндексе. Потому что робот Яндекса следовал запрещениям файла robots. txt, но не видел метатега.

Не удаляя метатег, опять стала заполнять файл robots. txt. В общем заметалась. SEO  плагин у меня стоял  тогда простенький. Называется Sewn In Simple SEO. В нем находились только строки для заголовка статьи и для ее описания. Не было даже ключевых слов, по тем правилам.

Другие SEO  плагины тоже настраивались для запретов, но делать это нужно было правильно. По прошествии времени разобралась, что нужно открыть путь /allow/, только роботу Google, в файле robots.txt.  Для Яндекса следует прописать в нем другие правила.

У меня заблокированные ресурсы google появились тогда, когда запреты были одновременно и в запрещающем файле и в метатеге. Но такие двойные запреты делать нельзя. В таких случаях поисковый робот Гугла решает сам, что ему забирать для индексации.

В то время заблокированных ресурсов было у меня на сайте очень много, потому удаляла их вручную. Но сейчас на моем сайте осталось только 4 адреса.

Заблокированные ресурсы — освобождение вручную 

Посмотрела что блокируются: CSS плагинов, с участием скриптов, wp – content темы, wp – includes со скриптами и библиотекой jquery. В общем все, что  что располагается в заголовке / header/ при генерации кода.

Однако, оказалось, что каждая блокировка имеет связанные страницы, являющимися статьями сайта. Больше всего заблокированных связанных файлов приходилось на долю плагина для увеличения картинок —  auto –highslide/ highslide/ highslide.css.

Вначале открываю ссылки на весь блог / 33 строки/, в свою очередь каждая строка содержит ряд блокировок статей сайта.  Нажимаю на каждую ссылку отдельно, что открывает новое окно, где есть три предложения.

  • Просмотреть страницу, как Googlebot, чтобы сравнить как ее видит этот робот и как она обрабатывается в Гугл.

сравнение вида отображений сайта

  • Нужно подтвердить права на заблокированный сайт.
  • Проверить robots.txt.

посмотреть как goglebot

Нажимаю кнопку первого пункта: «посмотреть, как Googlebot». В новом окне нужно нажать красную кнопку «получить и отобразить». Бот довольно долго ищет статью, наконец  находит, с формулировкой: «частично выполнено» / из- за блока/, «добавить в индекс». Десять статей в месяц можно добавить со всеми связанными ресурсами, но остальные 500 – «только этот URL».

отправление записи в индекс

Некоторые статьи заблокированы несколько раз, в разных плагинах. Если открыт robots.txt  и установлен запретительный метатег, то заблокированные ресурсы удаляются не так уж медленно.

Wp Tab Widget

12.11.2017 Прошло около года, в запретах ничего не меняла. Заглянула случайно в раздел заблокированных ресурсов, но они опять появились пол месяца назад, их количество возрастало.  Стала разбираться. Оказывается новые заблокированные ресурсы Google появились в связи с установкой плагина Wp Tab Widget. Очень красивый и легкий плагин, построен на основе ajax, т.е. подгружается «на лету». Но статьи в Гугле заблокированы. Всвязи файлом CSS плагина. К тому же заблокированы дополнительные картинки в сайт баре. Пришлось с плагином расстаться.

После того, как открыла robots.txt  для Гугла и вставила «метатег robots», в плагин функций. Заблокированные ресурсы исчезли в Гугле, в течение месяца все, без ручных удалений.

Заблокированные ресурсы в Яндексе

Таковые тоже имеются, но чаще в исключенные страницы попадают различные дубли и ошибки 404. Встречаются и нормальные статьи, но меньше, чем в Гугл. Однако в индексируемых статьях дублей тоже довольно много. Это различные страницы: admin, page, которых в индексе не должно быть.  Хорошо, что сейчас все ссылки открыты, мы все их можем видеть и улучшать свой контент.

2021 год

Веб мастер Гугл обновился и теперь в нем совсем другая структура. Он стал еще более совершенным. Но и к блогерам требования еще больше возросли. Проверяю свой сайт и обнаруживаю, что в индексе присутствует лишь 2/3 статей. Остальные не проиндексированы, но по разным причинам.

Часть из них опять заблокирована в файле robots.txt.  Проверяю опять этот файл и вновь вношу изменения. Новые изменения файла смотрите по ссылке, при проверке в Гугл он доступен. О блокировках узнаем переходя по ссылкам, со страниц проверки, в веб мастере Гугл, /Google Starch Console/.

анализ страниц в вебмастере Гугл

Однако, несмотря на доступность robots.txt, все же есть блокировки CSS в плагине Autoptimice. Оказалось, что блокируются кэшированные файлы. Чтобы этого избежать, изменила настройки плагина. Например.  отключила объединение всех связанных JS скриптов. Заменила эту настройку функцией «не объединять, но отложить». То есть перенести их из верхней части страницы, в нижнюю, где они уже не будут блокировать рендеринг. В результате отдельные JS- файлы минимизированны и отложены.

После этого вновь проверила адрес статьи, где блокировки больше не было. Все ресурсы загружены. Однако 2 предупреждения все же встретилось, относительно amp страниц  — «трассировка стеков». Но это другая тема, говорящая о более глубоком анализе в ПС Гугл.

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Что будем искать? Например,Человек

Мы в социальных сетях