10.09.2015      354      7
 

Мета тег robots запрещающий препятствует дублям статей


Мета тег robots запрещающий установила в коды своих сайтов, чтобы предотвратить попадания в индексы поисковых систем различных дубликатов статей. Длительное время на моих сайтах был установлен файл robots.txt. Однако в индексах Яндекса и Гугла постоянно находила дубликаты. Потому что индексировались: категории,  их страницы, теги, архивы, страницы вложения, файлы автора и др.  Дополняла в файл robots.txt новые директории, однако все было бесполезно. Индексы сайтов вырастали до больших размеров, в несколько крат превышая количество написанных  текстов.  Эти же дубли влекут за собой и другие  ошибки: слишком длинные заголовки, отсутствующие мета описания.

мета тег robots запрещающий

Мета тег robots запрещающий — как установить в код сайта 

В Интернете несколько раз видела предложения об установке мета-тега robots noindex  и nofollow в заголовок сайта. Пробовала устанавливать, но  не получалось. Наконец мне встретилась статья  об установке его в файл functions.php.  Код  скопировала в  блокнот,  представляет он собой следующее:

Название сайта заменяем своим. Копируем код сразу после <?php, с новой строки, как на скриншоте.

вставка кода в плагин functions

Можно почитать в оригинальной статье о том, в какой взаимосвязи код находится с плагином:  All in One SEO Pack.  Автор статьи предложил снять в настройках плагина все запрещающие знаки, чтобы получилось: index, follow.

У меня с самого начала на сайте плагин Platinum SEO, однако и в его настройках можно убрать все запреты, тогда в коде получиться index follow. По теории автора, /кстати, подобные статьи встретила еще у двух ведущих блогеров/. Робот сможет свободно пройти до самого запретительного мета-тега, который ему  не позволит индексировать запрещенные файлы. Но для этого нужно преобразовать  файл robots.txt  следующим образом:

Мета тег robots запрещающий — результаты установки

Все так и сделала, результатов ждала 3-4 месяца, однако ничего не происходило. Сайты в индексе Яндекса выглядели  хуже, чем в Гугле. Не вытерпела, и файлы вложения стала удалять активно, но они оставались в индексе на протяжении года. Наконец обратилась в Яндекс поддержку. Платон мне вежливо ответил, что если есть противоречия в запретах, то робот выбирает разрешающую функцию. У меня был именно такой случай: мета-тег создавал запрет — noindex, nofollow, а плагин Platinum SEO, при снятых галочках, генерирует в коде – index, follow.

разрешение в плагине

На одном сайте оставила, как советовали ведущие блогеры, а на другом вернула запреты в чекбоксы плагина Platinum SEO.

запрещение в плагине

В сервисах для веб мастеров Яндекса и Гугла есть информация о заблокированных материалах. По прошествии месяца, в блоге, где был полный запрет дублированного контента, SEO плагином, в Яндекс вебмастере  появились данные о файлах, запрещенных мета-тегом, их стало 64. Там где остались противоречия, мета-тег запрещал только 2 файла.

В Гугле пока остается все по-прежнему, как будто мета-тег robots не функционирует, заблокировано по 2 файла, на каждом сайте. Здесь дубли  продолжаю удалять вручную, их мало осталось. Статьи о мета-теге robots мне помогли, но результат складывается не так, как у автора кода, для вставки в файл функций. Получение положительного эффекта обещают в течение года.

Дополнительная коррекция файла robots.txt только для Яндекса

Не ладилось вначале, затем заменила  SEO плагин, совсем простым. В файле robots.txt для Гугла вход свободый, запрещает его только мета тег. Для Яндекса делаю дополнительные запреты в файле robots.txt, тех файлов, которые он неправильно проиндексировал. Сейчас с этим вопросом все в порядке мета-тег robots хорошо функционирует и заблокированные ресурсы в Google исчезли.


Об авторе: Ксенья Юрьевна Бастрикова

Обсуждение: 7 комментариев
  1. Anna:

    Очень полезная статья…Но я, к сожалению, не дружу с кодами…всячески стараюсь избегать их ставить…С уважением, Анна.

  2. Комаровский Виталик:

    Ксения, спасибо за статью. Но все наши проблемы в данном случае, получаются именно из-за особенностей самого плагина Платинум СЕО Пак.
    Отличие его от Эл ин Ван СЕО Пак в том, что при снятии всех запрещающих галок он автоматом пишет мета-тег вида «индекс-фоллов», а при простановке всех запретов, тег принимает вид «ноиндекс-фоллов». То есть, запрещает индексацию текста, но все равно можно сканировать ссылки и заголовки. И эту проблему с Платинум СЕО Пак уже не побороть.
    В случае снятия всех запретов в Эл ин Ван СЕО Пак, он вообще мета-тег роботс не пишет. А в нашем с Вами случае, все равно получается противоречие и пипец. И чтотеперь с этим делать я не знаю.

  3. Комаровский Виталик:

    В том-то и все дело, если есть противоречия, тогда учитывается разрешающий тег со всеми вытекающими. Знаю, что в панели веб-мастера гугла (сканирование-параметры URL), можно блокировать URL-адреса по определенному параметру.
    Например, указываете там значение «Replytocom» и в пункте «Изменить» выбираете «Никакие URL». Все, по идее робот не должен сканировать адреса в которых есть такой параметр. Надеюсь, что смысл Вам понятен. Также можно и с другими параметрами побаловаться.
    Если можно, то расскажите пожалуйста подробнее про переезд с Платинума на Алл ин Ван. Как Вы делали и не теряются ли СЕО данные из всех статей при таком способе.

  4. Ксенья Юрьевна Бастрикова:

    Виталик, реплитоком меня мучил только первые пол года, потом я убрала вложенность комментариев в настройках Word Press и он быстро сам исчез. Параметры тоже год назад отрегулировала. Но в них нужно иногда заглядывать, т.к. оттуда что-то вылазит периодически.
    Вспомню конкретно плагин для импорта и вам напишу, эти плагины для каждого случая отдельные. У меня где-то в статьях есть об этом, поищу.

  5. Комаровский Виталик:

    Спасибо за инфу, но если описания к статьям теряется, то в нем нет смысла. Он же похерит весь материал на блоге.

  6. Ксенья Юрьевна Бастрикова:

    С материалом на блоге ничего не случается, он весь остается на месте, я это уже проходила. Речь идет о заполнении SEO — строк, я их потом вручную снова заполняла. Но это было в начале ведения блога, может быть тогда что-то неправильно сделала. У меня тет желания менять плагин, тем более появляется блокировка. Хотя бы в Яндексе. Этот сайт долго стоял со снятой отметкой в чекбоксах, потому в нем мало заблокированных дублей.

  7. Ксенья Юрьевна Бастрикова:

    Виталий, прочитайте здесь про транспортирующий плагин, я тут пишу, что все в порядке перекачалось.https://moylubimiblog.ru/plugini/plagin-yoast-udalyayu/.
    Я два раза перекачивала, первый раз был другой плагин для перекачивания и тогда было много ошибок.

Ваш комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Для отправки комментария, поставьте отметку, что разрешаете сбор и обработку ваших персональных данных . Политика конфиденциальности

Яндекс.Метрика