Screaming Frog SEO spider программа для анализа интернет ресурсов. Есть бесплатная версия и платная, расширенная. В бесплатной версии можно сделать проверку не такого уж маленького сайта – 500 адресов. От платной она отличается тем, что опции настроек в ней не активны, потому она менее гибкая. Например, в ней нельзя выбрать или исключить некоторые параметры. Однако сайт проверить можно, по многим показателям.
Screaming Frog SEO spider — вкладки программы
Создали эту программу программисты Великобритании в 2010 году. Язык в ней английский, но российские блогеры понимают без перевода, что нужно анализировать. Пользуются ею вебмастера успешно до настоящего времени, для аудита сайтов.
Скачать программу можно здесь, например, авторы называют ее «кричащая или пищащая лягушка». Однако можно задать поисковый вопрос в Яндексе. После скачивания открывается большой, развернутый лист. С опциями на верхней панеле. Полный адрес, проверяемого сайта впишем в верхней строке. В результате список ссылок на страницы, записи и медиафайлы появится очень быстро.
Настроек в бесплатной версии нет, но есть фильтры, которые увидим из выпадающего меню.
Например, анализ моего интернет ресурса. Вначале кликнула фильтр all – все. Адреса программа показывала вперемешку, не только статьи с кодом ответа сервера 200, но и картинки, с ответом «0». Например была надпись, что это блок файла robots.txt. Потому что индексация изображений у меня запрещена плагином Clearfy pro.
Однако купила и установила этот плагин значительно позже. К этому времени роботы Гугла проиндексировали все, что возможно и невозможно. Теперь все это держится в индексах ПС Гугла годами. Например, программа у меня проверила только 167 статей. Все остальное, из 500 возможных у меня занимали разнообразные файлы, которых в индексе быть не должно, по определению.
Мне нужно подумать о том, чтобы на сайте постепенно удалять ссылки на большие и заблокированные картинки внутри статей.
Другие фильтры
- Перейдем в фильтр html. В этом случае картинки будут скрыты и останутся только адреса статей. Это внутренние ссылки –internal. Просмотрим их, у меня проиндексированы все статьи, но есть кое-что для удаления – об этом ниже.
- Нажмем кнопку external – это внешние ссылки, которые попали в индекс с адресом нашего сайта.
- У меня их две. Их лучше удалить. Для этого открываю вебмастер Google и произвожу удаление не нужных ссылок. Без программы Screaming Frog SEO spider никогда бы не догадалась о существовании таких ссылок, в адресе блога.
- Однако интересно, что удаляла, удаляла, но зашла через год, а ссылки остаются на месте и никуда не исчезают.
Screaming frog seo spider — вкладки
На вкладке протокол нужно просмотреть, чтобы у всех адресов было https. Например, у меня так и есть, все 500 адресов в порядке. Response codes – просмотрим все адреса, применяя фильтр.
Например на вкладке Brocked by robots.txt – у меня заблокировано 330 картинок. Здесь нет прямого перехода из программы на сайт, но адрес можно выделить и скопировать. Success (2xx) код ответа у меня в ПС Google оказался 200 почти во всех статьях, лишь один адрес с редиректом 301. Но интересно, что в Яндексе у меня на этом сайте ответов 301 в 3 раза больше, чем всего написанных статей. Возможно в Яндексе больше ссылок на мои старые статьи, или другая причина.
Никаких других видов редиректов /java script,meta refresh /у меня не оказалось. Ошибок 404 и 500 тоже не выявлено. Но в Яндексе всех ошибок полно. Сохраняется это в статистике, хотя не очень понимаю, для чего это все хранить. Url – фильтры параметров, есть только all, других не оказалось, потому что в свое время решала проблемы индексации параметров.
Page titles – все адреса в порядке.
Опция «Дубликаты» – вот здесь-то есть что удалить. Несмотря на то, что все удалялось множество раз, в индексе до настоящего времени находятся 8 страниц /page/. Копирую по одному адресу, перехожу в вебмастер Гугл и удаляю.Однако через год дублей еще добавилось и ничего не удалилось.
«Over 65 characters «- таких адресов у меня оказалось 24. Можно посмотреть количество знаков в заголовке и величину заголовка в пикселях. У меня не оказалось превышенных величин, слишком маленьких совсем нет.
Screaming Frog SEO spider мета теги
«Meta Description- нажимая эту опцию, получаем список своих статей с описаниями. Совсем недавно заменила свой простой плагин SEO на Yoast WP SEO. Однако, плагин транспортер очень плохо перенес описания статей. В результате, описаний статей почти нигде нет. Теперь мне предстоит большая работа, по восстановлению описаний. Но что делать, не первый раз, все исправила к 2019 году.
«Meta Keywords» у меня нет, потому что в Гугле уже давно ключевые слова не спрашивают. «Заголовок h1» — так же появляется весь список статей, однако здесь у меня порядок и h2 – то же самое.
Картинки images, например, у меня страница пуста из-за запрета.
Директивы и другие вкладки
«Мета-тег robots» — вначале записано noindex follow для категорий и страниц, а потом –noindex nofollow. Так и было,потому что мета -тег был установлен на сайте позже. Кроме ряда страниц в индексе Google, присутствуют и категории, которые часто удаляю, но они вновь появляются.
«Hreflang» – таблица для файлов Sitemap . Здесь файл можно проверить, закачав со своего компьютера — но не проверяю. Однако зря не проверила, потому что при установке плагина Wp Yoast SEO, файл sitemap.hml синтезируется на лету. Обновляется сразу, после обновления новых и старых статей.
При этом, старые стационарные файлы sitemap.hml нужно удалить из хостинга, потому что они мешают. Однако, прежде всего, нужно удалить плагин, который представлял собой стационарную карту для поисковых роботов. Но после удаления стационарных файлов, которые скопились за 5 лет ведения сайтов. У меня образовалось масса ошибок 404, которые теперь усиленно удаляю.
Однако другие показатели оказались пустыми. Например, параметры: Ajax, gustom, analitytics, search console, link metrics. Что-то из этого не использую, но часть ссылок закрыта.
Очень долго не заходила в Гугл, больше года. Зашла только в сентябре 2025 года и сразу обнаружила новые ошибки в новых показателях. Новые показатели оценки сайтов, Гугл ввел не так давно. Для оценки новых показателей много новых параметров введены в программуScreaming Frog SEO spider. Потому программа обновлена автором Деном Шарпом и опубликована 22 октября 2019 года. Об этом можно у него почитать и использовать для улучшения сайтов.
