Рубрики
seo оптимизация

Мета тег robots запрещающий препятствует дублям статей

Мета тег robots запрещающий установила в коды своих сайтов. Это нужно сделать чтобы предотвратить попадания в индексы поисковых систем различных дубликатов статей. Длительное время на моих сайтах был установлен файл robots.txt. Однако в индексах Яндекса и Гугла постоянно находила дубликаты. Потому что индексировались: категории,  их страницы, теги, архивы, страницы вложения, файлы автора и др.  Дополняла в файл robots.txt новые директории, однако все было бесполезно. Потому решила установить еще мета тег. Его особенно рекомендует Гугл, для запрещения страниц.

Мета тег robots запрещающий — как установить в код сайта 

Индексы моих сайтов выросли до больших размеров. Они в несколько крат превышали количество написанных текстов.  Эти же дубли влекут за собой и другие  ошибки. Например, слишком длинные заголовки, отсутствующие мета описания.

В Интернете несколько раз видела предложения об установке мета-тега robots noindex  и nofollow в заголовок сайта. Пробовала устанавливать, но  не получалось. Наконец мне встретилась статья  об установке его в файл functions.php.  Код  скопировала в  блокнот,  представляет он собой следующее:

function mayak_meta_robots () {<br>if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) <br>{<br>echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";<br>}<br>}<br>add_action('wp_head', 'mayak_meta_robots');

Название сайта mayak — это автор кода, заменять его не нужно. Копируем код сразу после <?php, с новой строки, как на скриншоте. У меня появился плагин функций. Этот код и другие устанавливаю в плагин, а не в файл функций. Статья была написана в 2015 году, но запрещающий метатег стоит у меня до настоящего времени в плагине  — 2021 год.

Можно почитать в оригинальной статье о том, в какой взаимосвязи код находится с плагином:  All in One SEO Pack.  Автор статьи предложил снять в настройках плагина все запрещающие знаки, чтобы получилось: index, follow. Плагинами SEO в 2015 году пользовались другими, о них и упоминала. Сейчас все пользуются  плагином — Yoast SEO. У меня о нем есть большая статья.

C самого начала на сайте плагин Platinum SEO, однако и в его настройках можно убрать все запреты, тогда в коде получиться index follow. По теории автора, /кстати, подобные статьи встретила еще у двух ведущих блогеров/. Робот сможет свободно пройти до самого запретительного мета-тега, который ему  не позволит индексировать запрещенные файлы. Но для этого нужно преобразовать  файл robots.txt  следующим образом:

То есть роботу Гугла запрещено все, что находится в Word Press. Однако позже файл robots.txt изменяла несколько раз, для Гугла. И продолжаю вносить в него изменения периодически.

Что Гугл индексирует, до сих пор не понятно. Например, у моих сайтов, там отсутствует много статей. Можно сделать заявку на индексацию, но часто их робот не находит статьи на сайте. Пишет, что произошла ошибка, но не известно какая. Или, например, находит с 3-4 попыток. Но потом может быть сообщения, что 2-3 ресурса не загружены из-за блокировки в файле robots.txt.

Мета тег robots запрещающий — результаты установки

Все так и сделала, результатов ждала 3-4 месяца, однако ничего не происходило. Сайты в индексе Яндекса выглядели  хуже, чем в Гугле. Но в 2021 году, все наоборот. Например, мои сайты Гугл посещает в 2 раза меньше, чем Яндекс.

В 2015 году не вытерпела, и файлы вложения стала удалять активно, но они оставались в индексе на протяжении года. Наконец обратилась в Яндекс поддержку. Платон мне вежливо ответил, что если есть противоречия в запретах, то робот выбирает разрешающую функцию. У меня был именно такой случай: мета-тег создавал запрет — noindex, nofollow, а плагин Platinum SEO, при снятых галочках, генерирует в коде – index, follow.

На одном сайте оставила, как советовали ведущие блогеры, а на другом вернула запреты в чекбоксы плагина Platinum SEO.

В Гугле долго все оставалось по-прежнему. Как будто мета-тег robots не функционировал. Но потом сообщения о блокировке совсем исчезли. Их нет уже несколько лет. Статьи блогера о мета-теге robots мне помогли. Но далеко не сразу, примерно в течение года.

Дополнительная коррекция файла robots.txt только для Яндекса

Не ладилось вначале, затем заменила  SEO плагин, устанавливала совсем простой. Позже заменила его на Yoast. В файле robots.txt для Гугла вход свободный, запрещает его только мета тег. Для Яндекса делаю дополнительные запреты в файле robots.txt. Но запрещаю только те файлы, которые он неправильно проиндексировал. Сейчас с этим вопросом все в порядке мета-тег robots хорошо функционирует и заблокированные ресурсы в Google исчезли. Они постоянно то исчезают, то опять появляются. Но сейчас блокируется не вся статья, а только ряд затронутых ресурсов.

Добавить комментарий Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.