В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

Google представил обновленный инструмент проверки файлов robots.txt.

Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

  • покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
  • позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
  • обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.

Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.

Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает на сайте свыше 500 ошибок, допущенных при добавлении контента в файлы robots.txt file, Google автоматически перестает сканировать веб-сайт.

 

1 star2 star3 star4 star5 star (ОЦЕНИТЬ!)
Загрузка...
Прочее
Комментировать!

Вам понравится

Как эффективно показать себя на рынке с помощью интернета... Реклама считается действенным способом продвижения продукции на рынке. Мест для ее распространения достаточно. Например: телевидение, билборды, общественный транспорт и многие ...
В CS: Global Offensive — кейсы В CS: Global Offensive есть кейсы - особый предмет инвентаря, открывая который пользователь получает один случайный скин. К каждому кейсу привязывается определенный набор скинов, с...
Обзор сайта LocalBitcoins.NET Читателю предлагается окунуться в мир локальной торговли биткойном. Хотите торговать на Локале, но боитесь? Не стоит впадать в депрессию. В этом нет ничего страшного и это абсолютн...
Как оплатить штрафы ГИБДД онлайн за считанные секунды... Первое, действительно работающее приложение для оплаты штрафовНе так давно одними разработчиками было создано приложение, которое позволяет просмотреть и произвести оплату за ш...
Преимущества ИТ-аутсорсинга от компании ZEL-услуги... Современные технологии активно внедряются в бизнес, что приводит к необходимости создания ИТ-отделов в компаниях с развитой компьютерной инфраструктурой. Создание IT-отделов ст...
Установка электронных замков в гостиницах Электронные замки для гостиничных номеров практически ничем не отличаются от своих механических аналогов. Здесь также есть посадочный механизм врезного типа с фалевой защелкой и ри...