17.01.2018      1577      0
 

Screaming Frog SEO spider анализ интернет ресурсов


screaming-frog-seo-spiderScreaming Frog SEO spider программа для анализа интернет ресурсов. Есть бесплатная версия и платная, расширенная. В бесплатной версии можно сделать проверку не такого уж маленького  сайта – 500 адресов. От платной она отличается тем, что опции настроек в ней не активны, потому она менее гибкая. Например, в ней нельзя выбрать или исключить некоторые параметры. Однако сайт проверить можно, по многим показателям.

Screaming Frog SEO spider – вкладки программы

Создали эту программу программисты Великобритании в 2010 году. Язык в ней английский, но блогерам понятно, что анализируется. Пользуются ею вебмастера успешно до настоящего времени, для аудита сайтов.

Скачать программу можно здесь  Авторы называют ее «кричащая или пищащая лягушка». Открывается большой, развернутый лист. С опциями на верхней панеле Полный адрес сайта впишем в верхней строке. Список ссылок на страницы, записи и медиафайлы появится очень быстро.

строка для адресаНастроек в бесплатной версии нет, но есть фильтры, которые увидим из выпадающего меню.

фильтры программыНапример, анализ моего интернет ресурса. Вначале кликнула  фильтр all – все. Адреса программа показывала вперемешку, но не только статьи с кодом ответа сервера 200, но и картинки, с ответом  «0». Подписано, что это блок файла robots.txt. Потому что индексация изображений у меня запрещена плагином Clearfy pro.

Однако купила этот плагин значительно позже. К этому времени роботы Гугла проиндексировали все, что возможно и невозможно. Теперь все это держится в индексах ПС годами. Например, программа у меня проверила только 167 статей. Все остальное, из 500 возможных у меня занимали разнообразные файлы, которых в индексе быть не должно, по определению.

Мне нужно подумать о том, чтобы на сайте постепенно удалять ссылки на большие и заблокированные  картинки внутри статей.

показаны все адреса

Другие фильтры

  • Перейдем в фильтр html. В этом случае картинки будут скрыты и останутся только адреса статей. Это внутренние ссылки –internal. Просмотрим их, у меня проиндексированы все статьи, но есть кое-что для удаления – об этом ниже.
  • Нажмем кнопку external – это внешние ссылки, которые попали в индекс с адресом нашего сайта.
  • У меня их две. Их лучше удалить. Для этого  открываю вебмастер Google  и произвожу удаление  не нужных ссылок. Без программы Screaming Frog SEO spider никогда бы не догадалась о существовании таких ссылок, в адресе блога.
  • Однако интересно, что удаляла, удаляла, но зашла через год, а ссылки остаются на месте и никуда не исчезают.

 Screaming frog seo spider – вкладки 

На вкладке протокол нужно просмотреть, чтобы у всех адресов было https. Например, у меня так и есть, все 500 адресов в порядке. Response codes – просмотрим все адреса, применяя фильтр.

Вкладка Brocked by robots.txt – у меня заблокировано 330 картинок. Здесь нет прямого перехода из программы на сайт, но адрес можно выделить и скопировать. Success (2xx) код ответа у меня в ПС Google оказался 200 почти во всех статьях, лишь один адрес с редиректом 301. Но интересно, что в Яндексе у меня на этом сайте ответов 301 в 3 раза больше, чем всего написанных статей. Возможно в Яндексе больше ссылок на мои старые статьи, или другая причина.

Никаких других видов редиректов /java script,meta refresh /у меня не оказалось. Ошибок 404 и 500 тоже не выявлено. Но в Яндексе всех ошибок полно. Сохраняется это в статистике, не очень понимаю, для чего это хранить. Url – фильтры параметров, есть только all, других не оказалось, потому что свое время решала проблемы индексации параметров.

Page titles – все адреса в порядке. дубликатыДубликаты – вот здесь-то есть что удалить. Несмотря на то, что все удалялось множество раз, в индексе до настоящего времени находятся 8 страниц /page/. Копирую по одному адресу, перехожу в вебмастер Гугл и удаляю.Однако через год дублей еще добавилось и ничего не удалилось. Over 65 characters – таких адресов у меня оказалось 24. Можно посмотреть количество знаков в заголовке и величину заголовка в пикселях. У меня не оказалось превышенных величин, слишком маленьких совсем нет.

Screaming Frog SEO spider мета теги

Meta Description- нажимая эту опцию, получаем список своих статей с описаниями. Совсем недавно заменила свой простой плагин SEO на Yoast WP SEO. Однако, плагин транспортер очень плохо перенес описания статей. Описаний почти нигде нет. Теперь мне предстоит большая работа, по восстановлению описаний. Что делать, не первый раз. Но вот это все уже сделала к 2019 году.

Meta Keywords у меня нет, потому что в Гугле уже давно ключевые слова не спрашивают. Заголовок h1 – так же появляется весь список статей. Здесь у меня порядок, h2 –  то же самое. Картинки images, например, у меня страница пуста из-за запрета.

Директивы и другие вкладки

Мета-тег robots –  вначале записано noindex follow для категорий и страниц, а потом –noindex nofollow. Так и было,потому что мета -тег  был установлен на сайте позже. Кроме ряда страниц в индексе Google, присутствуют и категории, которые часто удаляю, но они вновь появляются.

Hreflang – Это таблица для файлов Sitemap . Здесь файл можно проверить, закачав со своего компьютера – это не проверяю. Но зря не проверила. Потому что при установке плагина Wp Yoast SEO, файл sitemap.hml  синтезируется на лету. Обновляется сразу, после обновления новых и старых статей.

При этом, старые стационарные файлы sitemap.hml нужно удалить из хостинга, потому что они мешают. Однако, прежде всего, нужно удалить плагин, который представлял собой стационарную карту для поисковых роботов.

Но после удаления стационарных файлов, которые скопились за 5 лет ведения сайтов. У меня образовалось  масса ошибок 404, которые теперь усиленно удаляю. Однако другие показатели оказались пустыми. Например, параметры: Ajax, gustom, analitytics, search console, link metrics. Что-то из этого не использую, но часть ссылок закрыта.

В  результате могу сказать, что программа полезна и сейчас. Несмотря на увеличение анализирующих сервисов.


Ваш комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Copyright © 2013-2021