10.09.2015      609      0
 

Мета тег robots запрещающий препятствует дублям статей


Мета тег robots запрещающий установила в коды своих сайтов, чтобы предотвратить попадания в индексы поисковых систем различных дубликатов статей. Длительное время на моих сайтах был установлен файл robots.txt. Однако в индексах Яндекса и Гугла постоянно находила дубликаты. Потому что индексировались: категории,  их страницы, теги, архивы, страницы вложения, файлы автора и др.  Дополняла в файл robots.txt новые директории, однако все было бесполезно. Индексы сайтов вырастали до больших размеров, в несколько крат превышая количество написанных  текстов.  Эти же дубли влекут за собой и другие  ошибки: слишком длинные заголовки, отсутствующие мета описания.

мета тег robots запрещающий

Мета тег robots запрещающий — как установить в код сайта 

В Интернете несколько раз видела предложения об установке мета-тега robots noindex  и nofollow в заголовок сайта. Пробовала устанавливать, но  не получалось. Наконец мне встретилась статья  об установке его в файл functions.php.  Код  скопировала в  блокнот,  представляет он собой следующее:

Название сайта заменяем своим. Копируем код сразу после <?php, с новой строки, как на скриншоте.

вставка кода в плагин functions

Можно почитать в оригинальной статье о том, в какой взаимосвязи код находится с плагином:  All in One SEO Pack.  Автор статьи предложил снять в настройках плагина все запрещающие знаки, чтобы получилось: index, follow.

У меня с самого начала на сайте плагин Platinum SEO, однако и в его настройках можно убрать все запреты, тогда в коде получиться index follow. По теории автора, /кстати, подобные статьи встретила еще у двух ведущих блогеров/. Робот сможет свободно пройти до самого запретительного мета-тега, который ему  не позволит индексировать запрещенные файлы. Но для этого нужно преобразовать  файл robots.txt  следующим образом:

Мета тег robots запрещающий — результаты установки

Все так и сделала, результатов ждала 3-4 месяца, однако ничего не происходило. Сайты в индексе Яндекса выглядели  хуже, чем в Гугле. Не вытерпела, и файлы вложения стала удалять активно, но они оставались в индексе на протяжении года. Наконец обратилась в Яндекс поддержку. Платон мне вежливо ответил, что если есть противоречия в запретах, то робот выбирает разрешающую функцию. У меня был именно такой случай: мета-тег создавал запрет — noindex, nofollow, а плагин Platinum SEO, при снятых галочках, генерирует в коде – index, follow.

разрешение в плагине

На одном сайте оставила, как советовали ведущие блогеры, а на другом вернула запреты в чекбоксы плагина Platinum SEO.

запрещение в плагине

В сервисах для веб мастеров Яндекса и Гугла есть информация о заблокированных материалах. По прошествии месяца, в блоге, где был полный запрет дублированного контента, SEO плагином, в Яндекс вебмастере  появились данные о файлах, запрещенных мета-тегом, их стало 64. Там где остались противоречия, мета-тег запрещал только 2 файла.

В Гугле пока остается все по-прежнему, как будто мета-тег robots не функционирует, заблокировано по 2 файла, на каждом сайте. Здесь дубли  продолжаю удалять вручную, их мало осталось. Статьи о мета-теге robots мне помогли, но результат складывается не так, как у автора кода, для вставки в файл функций. Получение положительного эффекта обещают в течение года.

Дополнительная коррекция файла robots.txt только для Яндекса

Не ладилось вначале, затем заменила  SEO плагин, совсем простым. В файле robots.txt для Гугла вход свободый, запрещает его только мета тег. Для Яндекса делаю дополнительные запреты в файле robots.txt, тех файлов, которые он неправильно проиндексировал. Сейчас с этим вопросом все в порядке мета-тег robots хорошо функционирует и заблокированные ресурсы в Google исчезли.


Об авторе: Ксенья Юрьевна Бастрикова

Ваш комментарий

Ваш e-mail не будет опубликован.

Яндекс.Метрика