Мета-тег robots

мета-тег robots

Установила в коды своих сайтов мета – тег robots, чтобы предотвратить попадания в индексы поисковых систем различных дубликатов статей. Длительное время на моих сайтах был установлен файл robots.txt. Однако в индексах Яндекса и Гугла постоянно находила дубликаты статей. Потому что индексировались: категории,  их страницы, теги, архивы, страницы вложения, файлы автора и др.  Дополняла в файл robots.txt новые директории, однако все было бесполезно. Индексы сайтов вырастали до больших размеров, в несколько крат превышая количество написанных  текстов.  Эти же дубли влекут за собой и другие  ошибки: слишком длинные заголовки, отсутствующие мета описания.

Мета тег robots nofollow

В Интернете несколько раз видела предложения об установке мета-тега robots noindex  и nofollow в заголовок сайта. Пробовала устанавливать, но  не получалось. Наконец мне встретилась статья  об установке его в файл functions.php.  Код  скопировала в  блокнот,  представляет он собой следующее:

Название сайта заменяем своим. Копируем код сразу после <?php, с новой строки, как на скриншоте.

вставка кода в файл functions

Можно почитать в оригинальной статье о том, в какой взаимосвязи код находится с плагином:  All in One SEO Pack.  Автор статьи предложил снять в настройках плагина все запрещающие знаки, чтобы получилось: index, follow.

У меня с самого начала на сайте плагин Platinum SEO, однако и в его настройках можно убрать все запреты, тогда в коде получиться index follow. По теории автора, /кстати, подобные статьи встретила еще у двух ведущих блогеров/. Робот сможет свободно пройти до самого запретительного мета-тега, который ему  не позволит индексировать запрещенные файлы. Но для этого нужно преобразовать  файл robots.txt  следующим образом:

Все так и сделала, результатов ждала 3-4 месяца, однако ничего не происходило. Сайты в индексе Яндекса выглядели  хуже, чем в Гугле. Не вытерпела, и файлы вложения стала удалять активно, но они оставались в индексе на протяжении года. Наконец обратилась в Яндекс поддержку. Платон мне вежливо ответил, что если есть противоречия в запретах, то робот выбирает разрешающую функцию. У меня был именно такой случай: мета-тег создавал запрет — noindex, nofollow, а плагин Platinum SEO, при снятых галочках, генерирует в коде – index, follow.

разрешение в плагине

На одном сайте оставила, как советовали ведущие блогеры, а на другом вернула запреты в чекбоксы плагина Platinum SEO.

запрещение в плагине

В сервисах для веб мастеров Яндекса и Гугла есть информация о заблокированных материалах. По прошествии месяца, в блоге, где был полный запрет дублированного контента, SEO плагином, в Яндекс вебмастере  появились данные о файлах, запрещенных мета-тегом, их стало 64. Там где остались противоречия, мета-тег запрещал только 2 файла.

В Гугле пока остается все по-прежнему, как будто мета-тег robots не функционирует, заблокировано по 2 файла, на каждом сайте. Здесь дубли  продолжаю удалять вручную, их мало осталось. Статьи о мета-теге robots мне помогли, но результат складывается не так, как у автора кода, для вставки в файл функции. Получение положительного эффекта обещают в течение года.

 PS.Не ладилось вначале, затем заменила  SEO плагин, совсем простым. В файле robots.txt для Гугла вход свободый, запрещает только мета-тег. Для Яндекса делаю дополнительные запреты в файле robots.txt, тех файлов, которые он неправильно проиндексировал. Сейчас с этим вопросом все в порядке мета-тег robots хорошо функционирует и заблокированные ресурсы в Google исчезли.

Комментарии 10

  • Очень полезная статья…Но я, к сожалению, не дружу с кодами…всячески стараюсь избегать их ставить…С уважением, Анна.

  • Анна, а я думаете не боюсь? Боюсь тоже, а лезу.Тем более с файлом функций шутки плохи, иногда сайт падает, нужно делать бекап. Зато на сайте о доме и даче у меня метатег уже хорошо работает, в Яндексе запрещено уже 73 названия с мусором.

  • Ксения, спасибо за статью. Но все наши проблемы в данном случае, получаются именно из-за особенностей самого плагина Платинум СЕО Пак.
    Отличие его от Эл ин Ван СЕО Пак в том, что при снятии всех запрещающих галок он автоматом пишет мета-тег вида «индекс-фоллов», а при простановке всех запретов, тег принимает вид «ноиндекс-фоллов». То есть, запрещает индексацию текста, но все равно можно сканировать ссылки и заголовки. И эту проблему с Платинум СЕО Пак уже не побороть.
    В случае снятия всех запретов в Эл ин Ван СЕО Пак, он вообще мета-тег роботс не пишет. А в нашем с Вами случае, все равно получается противоречие и пипец. И чтотеперь с этим делать я не знаю.

  • Виталик, я пробовала перекачать все свои файлы в плагин из платинум в «ал ин оне сео пак». Перекачивается за секунды, с помощью специального плагина.Но дело в том, что в плагине «алл», какой-то очень странный файл sitemap.xml. Яндекс его сразу заброковал, я напугалась и сразу обратно в платинум убежала.
    Всего прошло месяца 4, как я метатеги установила на 2 своих сайта. На одном заблокировано уже 74 мусорных файла.На этом сайте только 4. В Гугле практически нет никакой блокировки. Вы правильно говорите, что в платинум остается противоречие, в любом случае, но я все чекбоксы запретов отметила, так получается лучше. Поживем — увидим, возможно придется заменить SEO плагин.

  • В том-то и все дело, если есть противоречия, тогда учитывается разрешающий тег со всеми вытекающими. Знаю, что в панели веб-мастера гугла (сканирование-параметры URL), можно блокировать URL-адреса по определенному параметру.
    Например, указываете там значение «Replytocom» и в пункте «Изменить» выбираете «Никакие URL». Все, по идее робот не должен сканировать адреса в которых есть такой параметр. Надеюсь, что смысл Вам понятен. Также можно и с другими параметрами побаловаться.
    Если можно, то расскажите пожалуйста подробнее про переезд с Платинума на Алл ин Ван. Как Вы делали и не теряются ли СЕО данные из всех статей при таком способе.

  • Виталик, реплитоком меня мучил только первые пол года, потом я убрала вложенность комментариев в настройках Word Press и он быстро сам исчез. Параметры тоже год назад отрегулировала. Но в них нужно иногда заглядывать, т.к. оттуда что-то вылазит периодически.
    Вспомню конкретно плагин для импорта и вам напишу, эти плагины для каждого случая отдельные. У меня где-то в статьях есть об этом, поищу.

  • Виталий, нашла быстро, плагин называется:SEO Data Transporter. Перекачает все моментально, за секунды. Теряется ли что-то? Мне помнится, что описания в строках плагина все же теряются.

  • Спасибо за инфу, но если описания к статьям теряется, то в нем нет смысла. Он же похерит весь материал на блоге.

  • С материалом на блоге ничего не случается, он весь остается на месте, я это уже проходила. Речь идет о заполнении SEO — строк, я их потом вручную снова заполняла. Но это было в начале ведения блога, может быть тогда что-то неправильно сделала. У меня тет желания менять плагин, тем более появляется блокировка. Хотя бы в Яндексе. Этот сайт долго стоял со снятой отметкой в чекбоксах, потому в нем мало заблокированных дублей.

  • Виталий, прочитайте здесь про транспортирующий плагин, я тут пишу, что все в порядке перекачалось.https://moylubimiblog.ru/plugini/plagin-yoast-udalyayu/.
    Я два раза перекачивала, первый раз был другой плагин для перекачивания и тогда было много ошибок.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *