Заблокированные ресурсы google

Около года в сервисе вебмастер Гугл стала появляться информация о заблокированных ресурсах google. Раньше такой информации не было. Известно, что в шапке сайта находятся плагины со стилями CSS. Когда мы в корне сайта размещаем подробный файл robots.txt, с большим количеством запретов, то робот Гугла не может полноценно обработать ряд ресурсов. Во многих ресурсах блокируются, вместе с CSS  файлами, нужные статьи блога. Опция заблокированных ресурсов появилась в админпанеле Гугл вебмастера «индекс Google». Нажмем эту ссылку и увидим все ресурсы сайта, которые заблокированы.

заблокированные ресурсы

Разблокировать ресурсы google

Раньше, чем длинне был наш файл robots.txt, тем больше Гугл индексировал всякий мусор, не обращая на этот файл никакого внимания. Приходилось этому как-то противостоять. Поисковая система Гугл, в качестве альтернативы, предлагала устанавливать запретительный мета-тег robots. Пять месяцев назад установила его по методике, предложенной здесь. Нужно было открыть весь robots.txt, чтобы робот видел метатег, вначале так и сделала. Но у моих сайтов начались проблемы в Яндексе, робот следовал запрещениям файла robots. txt, но не видел метатега. Не удаляя метатег, опять стала заполнять файл robots. txt, в общем заметалась. SEO  плагин у меня стоит простенький, на запреты сайта не влияет, называется Sewn In Simple SEO, в нем есть только заголовок и описание, нет даже ключевых слов, его не нужно настраивать.  Другие SEO  плагины тоже настраиваются для запретов и делать это нужно правильно, но легко запутаться со всем этим.  По прошествии времени разобралась, что путь роботу Google нужно открыть в файле robots.txt, а для Яндекса прописать в нем правила.

У меня заблокированные ресурсы google появились, когда запреты были одновременно и в запрещающем файле и в метатеге.  Заблокированных ресурсов было очень много, удаляла их вручную. Сейчас на моем сайте осталось только 4 адреса, но рядом находится посторонний сайт и блокирует мой ресурс. С этой проблемой пока не знаю как быть. Гугл советует в этом случае договориться с веб мастером, или избавится от этого сайта. Не знаю как это выполнить, ни то ни другое. Не понятно откуда такой сайт взялся в веб мастере Гугл и почему он на мой сайт влияет?

Освобождение вручную 

Посмотрела что блокируются: CSS плагинов, с участием скриптов, wp – content темы, wp – includes со скриптами и библиотекой jquery. В общем все, что  что располагается в header при генерации кода.

блоки в google

Однако, оказалось, что каждая блокировка имеет связанные страницы, являющимися статьями сайта. Больше всего заблокированных связанных файлов приходится на долю плагина для увеличения картинок —  auto –highslide/ highslide/ highslide.css.

ссылки на статьи блога

Вначале открываю ссылки на весь блог / 33 строки/, в свою очередь каждая строка содержит ряд блокировок статей сайта.  Нажимаю на каждую ссылку отдельно, что открывает новое окно, где есть три предложения.

  • Просмотреть страницу, как Googlebot, чтобы сравнить как ее видит этот робот и как она обрабатывается в Гугл.

сравнение вида отображений сайта

  • Нужно подтвердить права на заблокированный сайт.
  • Проверить robots.txt.

посмотреть как goglebot

Нажимаю кнопку первого пункта: «посмотреть, как Googlebot». В новом окне нужно нажать красную кнопку «получить и отобразить». Бот довольно долго ищет статью, наконец  находит, с формулировкой: «частично выполнено» / из- за блока/, «добавить в индекс». Десять статей в месяц можно добавить со всеми связанными ресурсами, остальные 500 – «только этот URL».

отправление записи в индекс

Некоторые статьи заблокированы несколько раз, в разных плагинах. Если открыт robots.txt  и установлен запретительный метатег, то заблокированные ресурсы удаляются не так уж медленно. У меня сейчас проблемы только с посторонним сайтом. Долго я с этими заблокированными ресурсами в Google мучалась, но давно уже нет ни одного.

Wp Tab Widget

12.11.2017 Прошло около года, в запретах ничего не меняла, заглянула случайно в раздел заблокированных ресурсов, а они опять появились пол месяца назад и их количество возрастает. Стала разбираться. Оказывается новые заблокированные ресурсы Google появились в связи с установкой плагина Wp Tab Widget. Очень красивый и легкий плагин, построен на основе ajax, т.е. подгружается «на лету», а статьи в Гугле заблокировал, к тому же дополнительные картинки в сайт баре. Пришлось с плагином расстаться.

Заблокированные адреса в Яндексе

Таковые тоже имеются, чаще в исключенные страницы попадают различные дубли и ошибки 404, встречаются и нормальные статьи, но меньше, чем в Гугле. Но в индексируемых статьях дублей тоже достаточно много. Это различные страницы: admin, page, которых в индексе не должно быть.  Хорошо, что сейчас все ссылки открыты, мы все их можем видеть и улучшать свой контент.

После того, как открыла robots.txt  для Гугла и ставила метатег robots заблокированные ресурсы исчезли в течение месяца все, без ручных удалений. Для Яндекса в файле robots.txt кое что закрыла.

С уважением, автор: Ксенья Юрьевна Бастрикова

Комментарии 5

  • А у нас в Крыму сервисы гугла работают наполовину из-за санкций, практически невозможно сделать полный анализ сайта и посмотреть как исправить ошибки…

  • Сегодня вечерком займусь, опять своим сайтом и проверю все.

  • Тоже сидела над этим… По-моему, всё убрала, надо проверить. Спасибо за напоминание, Ксенья Юрьевна!

  • Проверяю иногда, вот и сейчас по горячим следам вашей статьи зашла и кое что убрала. Надо постоянно заниматься этим, как только перестанешь проверять, так и застрянет что-нибудь не нужное на блоге.

  • Я уже давно все отдала на откуп поисковику Гугл, никаких заблокированных ресурсов у меня нет, проверяла.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *