Url запрещен тегом noindex -такое сообщение появляется в Яндекс вебмастер. Например, у меня роботы Яндекса сразу запретили пакет статей. В индексе их стало меньше на 14%. Запрещала многие файлы движка Word Press целый год, чтобы не было дублей. Но вдруг, неожиданно для меня, из индекса стали исчезать канонические статьи целыми категориями или выборочно. Вероятно, какие-то из моих многочисленных запретов сработали.
Url запрещен тегом noindex — многие средства
Например, были запрещены в файле robots.txt разные технические параметры, страницы из wp-admin. Но, кроме того, раньше я запрещала страницы архивов, категорий, постраничную пагинацию главной страницы и рубрик. Все категории сайта тоже запрещала.
Еще у меня появился платный плагин Clearfy Pro, в котором есть тоже функция для запрета дублей страниц, например, архивов. На вкладке SEO тоже есть функция запрета. Авторы плагина объясняют нам, что в результаты поиска включаются страницы пагинации /page/2/,
/page/3/ и т.д.
Clearfy Pro: Закрывает от индексации страницы пагинации с помощью тега noindex. Эту кнопку включала, в плагине. Возможно потому Яндекс закрыл сразу много страниц.
Однако для поисковой системы Яндекс все эти запреты носят лишь рекомендательный характер. Если пожелают, то все равно будут индексировать наши посты. Однако могут и отреагировать на ряд запретов. Долго все мои статьи и их дубли находилось в индексе ПС Яндекса, несмотря на запреты.
Посмотрела код страницы, но в коде тег noindex повторялся только 4 раза. Запрет индексации был для социальных сетей и в коде Яндекс метрики. То есть только по делу.
Как исправляла
Еще раньше, года 2 назад сообщал Гугл, что статьи блокируются файлом robots.txt. С этого времени в части файла robots.txt для поискового робота Гугла запреты не пишу. Они остались только для роботов Яндекса. Например. Как на картинке.
Чтобы снять блоки удаляю из файла robots.txt некоторые строки Disallow. Например, удалила строчки категорий, page, все архивы по годам. Так много всего удалила, потому что не знаю точно, что удалять. Действую методом «проб и ошибок»
В плагине Clearfy Pro, во вкладке дубли, отключила запрет архивов, но не все, а только по датам. Отправила на переобход статьи из освобожденных категорий, от блока noindex. Однако, все это не значит, что все запреты из индекса сразу исчезли. Они остаются в индексе Яндекса, но все же количество канонических статей в индексе опять возрастает, хотя к численному результату, всех написанных, еще не пришло.
Посмотрела в вебмастере Гугл — search console. Нет ли там тоже запретов noindex. Да, они там тоже оказались, в количестве 107 файлов. Но это только те файлы, которые я сама запретила, чтобы не было дублей постов. Канонические статьи здесь не затронуты.
Вновь возвращаю запреты индексации
Очень быстро индекс индексации стал увеличиваться. Однако не только за счет разблокированных статей. Например появились архивы. Но что такое архивы, и сколько в них дублей?
Например, огромное количество дублей в архивах дат. Если наша статья выводится на главной и в категории, то мы еще получаем 3 дубля. В архивах по году, месяцу и дате, Плагин Clearfy Pro удаляет полностью архивы дат и ставит редирект. Так что опять активирую кнопку для отключения архивов.
Вновь восстановила первоначальный мета тег robots, который у меня находится в плагине Functions.php
