В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

Google представил обновленный инструмент проверки файлов robots.txt.

Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

  • покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
  • позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
  • обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.

Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.

Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает на сайте свыше 500 ошибок, допущенных при добавлении контента в файлы robots.txt file, Google автоматически перестает сканировать веб-сайт.

 

1 star2 star3 star4 star5 star (ОЦЕНИТЬ!)
Загрузка...
Прочее

 

Комментировать!

Вам понравится

Куплю витую пару: рассматриваем возможности категории 8... Как известно, кабель витая пара представляет собой связку проводников, попарно скрученных между собой. Провода помещаются в общую изоляционную оболочку. Существуют так называемые к...
Рейтинг бюджетных безрамочных смартфонов Безрамочные смартфоны в последние пару лет стали невероятно популярны среди пользователей, и практически каждая крупная компания уже выпустила как минимум несколько представителей ...
Мобильные приложения с сервисами геолокации... Информационные технологии используются повсеместно: образование, туризм, ресторанный бизнес и сфера услуг. Именно современные технологии позволяют решать проблемы, помогают компани...
Почему современному салону красоты нужно приложение... По данным систем аналитики, 70% пользователей посещают сайты из мобильных устройств. Это информация, которую нельзя изменить, ее можно только учесть, но мы можем и должны использов...
Краткие сведения о сенсорных мониторах и особенностях их использования... Сенсорным монитором принято называть комбинированное устройство для ввода/отображения информации, имеющее в своём составе экран и сенсорную панель поверх него, реагирующую на касан...
Как сэкономить на бензине? Цены на бензин – «больная» тема каждого водителя. Независимо от достатка и особенностей двигателя на топливо человек тратит значительную часть своего бюджета. Порой кажется, что лу...