Googlebot
| Googlebot | |
|---|---|
| Тип | Поисковый робот |
| Автор | |
| Разработчик | |
| Сайт | google.com/support/webma… |
Googlebot —поисковый роботкомпании Google, используемый для сканированиямировой сети и пополненияпоискового индекса системыGoogle. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию.
Веб-мастера могут управлять роботом с помощью команды в файлеrobots.txt или мета-тега<meta name="Googlebot" content="nofollow" />; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом.IP-адреса бота время от времени меняются.
При сканировании Googlebot указывает user-agent:
Googlebot/2.1 (+http://www.googlebot.com/bot.html)Googlebot/2.1 (+http://www.google.com/bot.html)Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Googlebot-Image/1.0(паук, сканирующий изображения)