Google рассказал о двух факторах, влияющих на сканирование сайта роботом GoogleBot

1 октября на ежегодной конференции SMX East 2014 аналитик Google Гэри Илш (Gary Illyes) рассказал аудитории о двух технических факторах сайта, которые являются сигналами сканирования для Google. С их помощью он определяет, когда роботу GoogleBot следует замедлить или остановить сканирование сайта.

Гэри Илш

К этим сигналам относятся:

• Время соединения (Connect Time)

Google смотрит на длительность установления соединения с сервером или веб-страницей. Если она становится все больше, он отступит и замедлит или остановит сканирование страниц сайта. Чтобы в конечном итоге не привести к остановке сервера, Google использует время соединения как фактор сканирования.

• Коды состояния HTTP (HTTP Status Codes)

Google также остановит или замедлит сканирование, если получит коды состояния сервера в диапазоне 5хх. Коды 5xx выделены под случаи неудачного выполнения операции по вине сервера. Полный список кодов можно посмотреть в Wikipedia. По словам Илльеса, когда Google видит эти коды, он отступает, чтобы не вызвать еще больше проблем для сервера.

В обоих случаях GoogleBot вернется к этому интернет-ресурсу позже, но отступит опять, если увидит указанные два сигнала, чтобы не вызвать еще больше проблем для пользователей, пытающихся зайти на сайт.

 

1 star2 star3 star4 star5 star (ОЦЕНИТЬ!)
Загрузка...
Прочее
Комментировать!

Автор: Mikhail Malinin

Родился 14 мая 1984 года в городе Уайт-Плейнс (штат Нью-Йорк), что в нескольких километрах к северу от города Нью-Йорка, в еврейской семье. Отец — стоматолог Эдвард Цукерберг (по состоянию на 2012 год продолжал практику). Мать — психиатр Карен Цукерберг. Был вторым ребёнком и единственным мальчиком из 4 детей в семье; его сёстры — Рэнди (старшая), Донна и Ариэль.