Робот Googlebot
-
Основы Googlebot
- Googlebot — это поисковый робот, собирающий документы для создания индекса для поиска.
- Существует два типа Googlebot: десктопный и мобильный.
-
Поведение и индексация
- Веб-сайт может быть просмотрен как десктопным, так и мобильным Googlebot.
- С сентября 2020 года все сайты перешли на мобильную индексацию.
- Оба типа Googlebot используют один и тот же токен продукта в robots.txt.
-
Управление контентом
- Веб-мастера могут управлять контентом в результатах поиска с помощью robots.txt и мета-тегов.
- Робот Googlebot идентифицируется по строке user agent и адресу хоста.
-
Возможности Googlebot
- Робот Googlebot может переходить по ссылкам HREF и SRC, а также анализировать контент, генерируемый вызовами Ajax.
- Существуют разные мнения о продвинутости возможностей Googlebot в обработке JavaScript.
- Googlebot использует сервис веб-рендеринга на основе Chromium.
-
Проблемы с пропускной способностью
- Использование Googlebot может привести к превышению лимита пропускной способности веб-сайта.
- Google предоставляет инструменты для управления скоростью сканирования.
-
Бюджет обхода и обновления
- Бюджет обхода определяет, как часто обновляется веб-сайт.
- С мая 2019 года Googlebot использует новейший движок рендеринга Chromium.
-
Mediabot
- Mediabot анализирует контент для размещения контекстно-релевантной рекламы в Google AdSense.
- Mediabot посещает только URL-адреса с кодом AdSense и может быть предоставлен вход в систему для сканирования защищенного контента.
-
Сканеры для инспекционных инструментов
- InspectionTool используется для тестирования поиска и проверки URL-адресов в Google Search Console.
- Он имитирует робота Googlebot и имеет собственный пользовательский агент.
-
Рекомендации
- Существуют руководства по поисковым роботам, описывающие различные типы поисковых агентов.
Полный текст статьи: