В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

Google представил обновленный инструмент проверки файлов robots.txt.

Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

  • покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
  • позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
  • обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.

Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.

Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает на сайте свыше 500 ошибок, допущенных при добавлении контента в файлы robots.txt file, Google автоматически перестает сканировать веб-сайт.

 

1 star2 star3 star4 star5 star (ОЦЕНИТЬ!)
Загрузка...
Прочее
Комментировать!

Вам понравится

Наборы и комплектующие для 3D принтеров Применение 3D печати и работа с соответствующим оборудованием стали доступны большинству обывателей, тем более, что торговые сети, в частности: http://makerplus.ru/ предлагают к ре...
Выбор доменного имени для сайта: как яхту назовешь, так она и поплывет... Доменное имя – это то, что:будет отображаться в адресной строке браузера; увидят пользователи, когда вы скинете им ссылку; может потенциально указать на регион работы в...
Как уменьшить шум вентиляторов ПК Вентиляторы – очень важная часть ПК и ноутбука, поскольку они охлаждают компоненты, которые нагреваются при работе. Но это также означает, что после нескольких минут выполнения люб...
Как работает беспроводная зарядка? Возможность восполнить запасы аккумулятора телефона, планшета, или другого портативного устройства без проводов все больше и больше манит современных пользователей. Samsung, Apple,...
Смена паролей вебресурса на сервере REG.RU и настройка бэкапа... Изменить все пароли сайта, находящегося на сервере REG.RU, необходимо в обязательном порядке после переноса веб ресурса с другого хостинга. Также это потребуется сделать, когда отк...
О некоторых функциях Samsung Galaxy S8 и Galaxy S8 Plus Статья о мобильных устройствах Samsung Galaxy S8 и Galaxy S8 Plus. Говорится о некоторых функциях и в частности о голосовом ассистенте Bixby.У новых телефонов от фирмы Samsung,...