В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

Google представил обновленный инструмент проверки файлов robots.txt.

Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

  • покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
  • позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
  • обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.

Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.

Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает на сайте свыше 500 ошибок, допущенных при добавлении контента в файлы robots.txt file, Google автоматически перестает сканировать веб-сайт.

 

1 star2 star3 star4 star5 star (ОЦЕНИТЬ!)
Загрузка...
Прочее
Комментировать!

Автор: Mikhail Malinin

Родился 14 мая 1984 года в городе Уайт-Плейнс (штат Нью-Йорк), что в нескольких километрах к северу от города Нью-Йорка, в еврейской семье. Отец — стоматолог Эдвард Цукерберг (по состоянию на 2012 год продолжал практику). Мать — психиатр Карен Цукерберг. Был вторым ребёнком и единственным мальчиком из 4 детей в семье; его сёстры — Рэнди (старшая), Донна и Ариэль.