Робот Googlebot

• Основы Googlebot

  • Googlebot — это поисковый робот, собирающий документы для создания индекса для поиска. 
  • Существует два типа Googlebot: десктопный и мобильный. 

• Поведение и индексация

  • Веб-сайт может быть просмотрен как десктопным, так и мобильным Googlebot. 
  • С сентября 2020 года все сайты перешли на мобильную индексацию. 
  • Оба типа Googlebot используют один и тот же токен продукта в robots.txt. 

• Управление контентом

  • Веб-мастера могут управлять контентом в результатах поиска с помощью robots.txt и мета-тегов. 
  • Робот Googlebot идентифицируется по строке user agent и адресу хоста. 

• Возможности Googlebot

  • Робот Googlebot может переходить по ссылкам HREF и SRC, а также анализировать контент, генерируемый вызовами Ajax. 
  • Существуют разные мнения о продвинутости возможностей Googlebot в обработке JavaScript. 
  • Googlebot использует сервис веб-рендеринга на основе Chromium. 

• Проблемы с пропускной способностью

  • Использование Googlebot может привести к превышению лимита пропускной способности веб-сайта. 
  • Google предоставляет инструменты для управления скоростью сканирования. 

• Бюджет обхода и обновления

  • Бюджет обхода определяет, как часто обновляется веб-сайт. 
  • С мая 2019 года Googlebot использует новейший движок рендеринга Chromium. 

• Mediabot

  • Mediabot анализирует контент для размещения контекстно-релевантной рекламы в Google AdSense. 
  • Mediabot посещает только URL-адреса с кодом AdSense и может быть предоставлен вход в систему для сканирования защищенного контента. 

• Сканеры для инспекционных инструментов

  • InspectionTool используется для тестирования поиска и проверки URL-адресов в Google Search Console. 
  • Он имитирует робота Googlebot и имеет собственный пользовательский агент. 

• Рекомендации

  • Существуют руководства по поисковым роботам, описывающие различные типы поисковых агентов.