Googlebot

Материал из Википедии — свободной энциклопедии
Перейти к навигацииПерейти к поиску
Googlebot
ТипПоисковый робот
АвторGoogle
РазработчикGoogle
Сайтgoogle.com/support/webma…

Googlebot —поисковый роботкомпании Google, используемый для сканированиямировой сети и пополненияпоискового индекса системыGoogle. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию.

Веб-мастера могут управлять роботом с помощью команды в файлеrobots.txt или мета-тега<meta name="Googlebot" content="nofollow" />; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом.IP-адреса бота время от времени меняются.

При сканировании Googlebot указывает user-agent:

  • Googlebot/2.1 (+http://www.googlebot.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot-Image/1.0 (паук, сканирующий изображения)

Ссылки

[править |править код]
Информация должна бытьпроверяема, иначе она может быть удалена. Вы можетеотредактировать статью, добавив ссылки наавторитетные источники в видесносок.(21 января 2013)
Перейти к шаблону «Google»
  • Председатель совета директоров:Эрик Шмидт
  • Директор, президент по технологиям и сооснователь:Сергей Брин
  • Главный исполнительный директор и сооснователь:Ларри Пейдж
    Материнская компания:Alphabet
Реклама
Коммуникации
ПО
Платформы
Инструменты
разработки
Публикация
Поиск (PageRank)
Тематические проекты
Закрытые проекты
См. также
Источник —https://ru.wikipedia.org/w/index.php?title=Googlebot&oldid=145227136
Категории:
Скрытые категории: