01.12.2016      376      5
 

Заблокированные ресурсы затрудняют обработку роботами


Заблокированные ресурсы стали появляться в сервисе вебмастер Гугл около года назад.  Раньше такой информации не было. Известно, что в шапке сайта находятся плагины со стилями CSS. Когда мы в корне сайта размещаем подробный файл robots.txt, с большим количеством запретов, то робот Гугла не может полноценно обработать ряд ресурсов, блокируются, вместе с CSS файлами, важные статьи блога. Опция заблокированных ресурсов появилась в админпанеле Гугл вебмастера «индекс Google». Нажмем эту ссылку и увидим все ресурсы сайта, которые заблокированы.

заблокированные ресурсы

Заблокированные ресурсы — разблокировать

Раньше, чем длинне был наш файл robots.txt, тем больше Гугл индексировал всякий мусор, не обращая на этот файл никакого внимания. Приходилось этому как-то противостоять. Поисковая система Гугл, в качестве альтернативы, предлагала устанавливать запретительный мета-тег robots. Пять месяцев назад установила его по методике, предложенной здесь. Нужно было открыть весь robots.txt, чтобы робот видел метатег, вначале так и сделала. Но у моих сайтов начались проблемы в Яндексе, робот следовал запрещениям файла robots. txt, но не видел метатега. Не удаляя метатег, опять стала заполнять файл robots. txt, в общем заметалась. SEO  плагин у меня стоит простенький, на запреты сайта не влияет, называется Sewn In Simple SEO, в нем есть только заголовок и описание, нет даже ключевых слов, его не нужно настраивать.  Другие SEO  плагины тоже настраиваются для запретов и делать это нужно правильно, но легко запутаться со всем этим.  По прошествии времени разобралась, что путь роботу Google нужно открыть в файле robots.txt, а для Яндекса прописать в нем правила.

У меня заблокированные ресурсы google появились, когда запреты были одновременно и в запрещающем файле и в метатеге.  Заблокированных ресурсов было очень много, удаляла их вручную. Сейчас на моем сайте осталось только 4 адреса, но рядом находится посторонний сайт и блокирует мой ресурс. С этой проблемой пока не знаю как быть. Гугл советует в этом случае договориться с веб мастером, или избавится от этого сайта. Не знаю как это выполнить, ни то ни другое. Не понятно откуда такой сайт взялся в веб мастере Гугл и почему он на мой сайт влияет?

Заблокированные ресурсы — освобождение вручную 

Посмотрела что блокируются: CSS плагинов, с участием скриптов, wp – content темы, wp – includes со скриптами и библиотекой jquery. В общем все, что  что располагается в header при генерации кода.

блоки в google

Однако, оказалось, что каждая блокировка имеет связанные страницы, являющимися статьями сайта. Больше всего заблокированных связанных файлов приходится на долю плагина для увеличения картинок —  auto –highslide/ highslide/ highslide.css.

ссылки на статьи блога

Вначале открываю ссылки на весь блог / 33 строки/, в свою очередь каждая строка содержит ряд блокировок статей сайта.  Нажимаю на каждую ссылку отдельно, что открывает новое окно, где есть три предложения.

  • Просмотреть страницу, как Googlebot, чтобы сравнить как ее видит этот робот и как она обрабатывается в Гугл.

сравнение вида отображений сайта

  • Нужно подтвердить права на заблокированный сайт.
  • Проверить robots.txt.

посмотреть как goglebot

Нажимаю кнопку первого пункта: «посмотреть, как Googlebot». В новом окне нужно нажать красную кнопку «получить и отобразить». Бот довольно долго ищет статью, наконец  находит, с формулировкой: «частично выполнено» / из- за блока/, «добавить в индекс». Десять статей в месяц можно добавить со всеми связанными ресурсами, остальные 500 – «только этот URL».

отправление записи в индекс

Некоторые статьи заблокированы несколько раз, в разных плагинах. Если открыт robots.txt  и установлен запретительный метатег, то заблокированные ресурсы удаляются не так уж медленно. У меня сейчас проблемы только с посторонним сайтом. Долго я с этими заблокированными ресурсами в Google мучалась, но давно уже нет ни одного.

Wp Tab Widget

12.11.2017 Прошло около года, в запретах ничего не меняла, заглянула случайно в раздел заблокированных ресурсов, а они опять появились пол месяца назад и их количество возрастает. Стала разбираться. Оказывается новые заблокированные ресурсы Google появились в связи с установкой плагина Wp Tab Widget. Очень красивый и легкий плагин, построен на основе ajax, т.е. подгружается «на лету», а статьи в Гугле заблокировал, к тому же дополнительные картинки в сайт баре. Пришлось с плагином расстаться.

Заблокированные ресурсы в Яндексе

Таковые тоже имеются, чаще в исключенные страницы попадают различные дубли и ошибки 404, встречаются и нормальные статьи, но меньше, чем в Гугле. Но в индексируемых статьях дублей тоже достаточно много. Это различные страницы: admin, page, которых в индексе не должно быть.  Хорошо, что сейчас все ссылки открыты, мы все их можем видеть и улучшать свой контент.

После того, как открыла robots.txt  для Гугла и ставила метатег robots заблокированные ресурсы исчезли в течение месяца все, без ручных удалений. Для Яндекса в файле robots.txt кое что закрыла.


Об авторе: Ксенья Юрьевна Бастрикова

Обсуждение: 5 комментариев
  1. Ирина:

    А у нас в Крыму сервисы гугла работают наполовину из-за санкций, практически невозможно сделать полный анализ сайта и посмотреть как исправить ошибки…

  2. Ирина:

    Сегодня вечерком займусь, опять своим сайтом и проверю все.

  3. Лада:

    Тоже сидела над этим… По-моему, всё убрала, надо проверить. Спасибо за напоминание, Ксенья Юрьевна!

  4. Алевтина:

    Проверяю иногда, вот и сейчас по горячим следам вашей статьи зашла и кое что убрала. Надо постоянно заниматься этим, как только перестанешь проверять, так и застрянет что-нибудь не нужное на блоге.

  5. Надежда:

    Я уже давно все отдала на откуп поисковику Гугл, никаких заблокированных ресурсов у меня нет, проверяла.

Ваш комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Для отправки комментария, поставьте отметку, что разрешаете сбор и обработку ваших персональных данных . Политика конфиденциальности

Поиск Яндекса

скрипт против дублей

Мощный SEO плагин Clearfy