В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

Google представил обновленный инструмент проверки файлов robots.txt.

Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

  • покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
  • позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
  • обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.

Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.

Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает на сайте свыше 500 ошибок, допущенных при добавлении контента в файлы robots.txt file, Google автоматически перестает сканировать веб-сайт.

 

1 star2 star3 star4 star5 star (ОЦЕНИТЬ!)
Загрузка...
Прочее

 

Комментировать!

Вам понравится

10 фишек, которые наводят на мысль — «Стоит ли платить за бренд iPhon... Разрываетесь между давно ставшим хитом яблочным устройством и зеленым человечком, который порой становится поводом для насмешек? Но действительно ли платформа iOS является идеально...
Обратная сторона оптимизации ПК или поиски безопасной альтернативы имеющимся мет... Если текущие возможности персонального компьютера не устраивают его владельца, можно воспользоваться различными способами его оптимизации с целью повышения производительности. Но п...
Почему продвижение сайта так дорого стоит? Бытует мнение среди большинства владельцев сайтов и интернет-магазинов, что SEO продвижение сайта стоит очень дорого. Нередки случаи, когда заказывая раскрутку, они рассчитывают на...
Конкурент Process Lasso или почему пользователям этого приложения стоит присмотр... На рынке программного обеспечения достаточно быстро появляются лидеры, которым доверяют пользователи. Так, к примеру, в сфере обработки изображений одним из первых вспоминается Pho...
Как правильно выбрать жесткие диски (HDD), SSD Исходя из области применения, и стоит подбирать жесткие диски, равно как и твердотельные накопители (посмотреть ассортимент, предлагаемый разными производителями можно по ссылке ht...
Ремонт компьютера в специальных организациях. Нюансы.... Ремонт компьютеров включает очень широкий спектр услуг самой разной степени сложности. Иногда мастерам требуется совсем немного времени, чтобы разобраться с проблемой, а некоторые ...