17.01.2018      1216      2
 

Screaming Frog SEO spider анализ интернет ресурсов


Screaming Frog SEO spider программа для анализа интернет ресурсов. Есть бесплатная версия и платная, расширенная. В бесплатной версии можно сделать проверку не такого уж маленького  сайта – 500 адресов. От платной она отличается тем, что опции настроек в ней не активны, потому она менее гибкая, в ней нельзя выбрать или исключить некоторые параметры. Однако сайт проверить можно, по многим показателям. Создали эту программу программисты Великобритании в 2010 году. Язык в ней английский, но блогерам понятно, что анализируется. Пользуются ею вебмастера успешно до настоящего времени, для аудита сайтов.screaming frog SEO Spider

Screaming Frog SEO spider вкладки программы

Скачать программу можно здесь  Авторы называют ее «кричащая или пищащая лягушка». Полный адрес сайта впишем в верхней строке, список ссылок появится очень быстро.

строка для адресаНастроек в бесплатной версии нет, но есть фильтры, которые увидим из выпадающего меню.

фильтры программыБуду приводить пример анализа своего интернет ресурса.

  • Вначале у меня был фильтр all – все. Адреса программа показывала вперемешку, не только статьи с кодом ответа сервера 200, но и картинки, с ответом  «0», потому что индексация изображений у меня запрещена плагином Clearfy pro.
  • Мне нужно подумать о том, чтобы на сайте постепенно удалять ссылки на большие картинки внутри статей. Таким образом они были подписаны, в начале ведения блога, когда я многого не знала.

показаны все адреса

  • Перейдем в фильтр html. В этом случае картинки будут скрыты и останутся только адреса статей. Это внутренние ссылки –internal. Просмотрим их, у меня проиндексированы все статьи, есть кое-что для удаления – об этом ниже.
  • Нажмем кнопку external – это внешние ссылки, которые попали в индекс с адресом нашего сайта.
  • У меня их две. Их лучше удалить. Для этого  открываю вебмастер Google  и произвожу удаление  не нужных ссылок. Без прогаммы Screaming Frog SEO spider никогда бы не догадалась о существовании таких ссылок, в адресе блога. внешние ссылки

 Screaming frog seo spider — вкладки – protocol, response codes, URL, page titles

  • На вкладке протокол нужно просмотреть, чтобы у всех адресов было https. У меня так и есть, все 500 адресов в порядке.
  • Response codes – просмотрим все адреса, применяя фильтр.
  • Вкладка Brocked by robots.txt – у меня заблокировано 330 картинок. Здесь нет прямого перехода из программы на сайт, но адрес можно выделить и скопировать. Знаю и без программы, с каких картинок нужно убрать ссылки, но есть возможность контроля в screaming frog seo spider.
  • Success (2xx) код ответа у меня в ПС Google оказался 200 почти во всех статьях, лишь один адрес с редиректом 301. Интересно, что в Яндексе у меня на этом сайте ответов 301 в 3 раза больше, чем всего написанных статей. Возможно в Яндексе больше ссылок на мои старые статьи, или другая причина.
  • Никаких других видов редиректов /java script,meta refresh /у меня не оказалось. Ошибок 404 и 500 тоже не выявлено. В Яндексе всех ошибок полно. Сохраняется это в статистике, но не очень понимаю, для чего это хранить.
  • Url – фильтры параметров, есть только all, других не оказалось, потому что свое время решала проблемы индексации параметров.
  • Page titles – все адреса в порядке.
  • Дубликаты – вот здесь-то есть что удалить. Несмотря на то, что все удалялось множество раз, в индексе до настоящего времени находятся 8 страниц /page/. Копирую по одному адресу, перехожу в вебмастер Гугл и удаляю.дубликаты
  • Over 65 characters — таких адресов у меня оказалось 24.
  • Можно посмотреть количество знаков в заголовке и величину заголовка в пикселях. У меня не оказалось превышенных величин, слишком маленьких совсем нет.

Screaming Frog SEO spider мета теги

  • Meta Description- нажимая эту опцию, получаем список своих статей с описаниями. Совсем недавно заменила свой простой плагин SEO на Yoast WP SEO. Однако, плагин транспортер очень плохо перенес описания статей. Описаний почти нигде нет. Теперь мне предстоит большая работа, по восстановлению описаний. Что делать, не первый раз.
  • Meta Keywords у меня нет, потому что в Гугле уже давно ключевые слова не спрашивают.
  • Заголовок h1 — так же появляется весь список статей. Здесь у меня порядок, h2 –  то же самое. Картинки images у меня страница пуста из-за запрета.

Директивы и другие вкладки

Мета-тег robots —  вначале записано noindex follow для категорий и страниц, а потом –noindex nofollow. Так и было,потому что мета -тег  был установлен на сайте позже. Кроме ряда страниц в индексе Google, присутствуют и категории, которые часто удаляю, но они вновь появляются.

  • Hreflang – Это таблица для файлов Sitemap . Здесь файл можно проверить, закачав со своего компьютера — это не проверяю. Но зря не проверила, при установке плагина Wp Yoast SEO, появляется возможность установки файла sitemap.hml который синтезируется на лету. Обновляется сразу, после обновления новых и старых статей. При этом, старые стационарные файлы sitemap.hml нужно удалить из хостинга, потому что они мешают. Однако, прежде всего, нужно удалить плагин, который представлял собой стационарную карту сайта /так я поняла/, для поисковых роботов. После удаления стационарных файлов, которые скопились за 5 лет ведения сайтов. У меня образовалось из-за них масса ошибок 404, которые теперь усиленно удаляю.
  • Например, параметры: Ajax, gustom, analitytics, search console, link metrics – все страницы открылись пустыми.
  • В  результате могу сказать, что программа полезна и сейчас, несмотря на увеличение анализирующих сервисов.


Об авторе: Ксенья Юрьевна Бастрикова

Обсуждение: 2 комментария
  1. Сергей:

    очень интересный ресурс. Добавлю в свои закладки, пригодиться однозначно.

  2. Александр:

    Пользуюсь бесплатной версией, мне этого вполне достаточно.

Ваш комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Для отправки комментария, поставьте отметку, что разрешаете сбор и обработку ваших персональных данных . Политика конфиденциальности

Яндекс.Метрика