Googlebot,Google tarafından kullanılan bir arama botudur. Bu botweb'deki dokümanları toplar veGoogle Arama Motoru için aranabilir bir içerik listesi (index) oluşturur. Eğer site yöneticiyseniz ve sitenizin Google aramalarında ya da herhangi birarama motoru botunun indeksleme işleminde çıkmasını istemiyorsanız sitenizin dizininde birrobots.txt adlı dosya oluşturarak,[1] ya da sadece Googlebot için aşağıdaki meta etiketini kullanarak botların indekslemesini engelleyebilirsiniz.
<meta name="Googlebot" content="noindex">
Googlebot'un indeksleme yapabilmesi için, sunucularda "googlebot.com" içeren bir web sitesi (host address) ve içinde Googlebot kelimesinin geçtiği bir user-agent kodlu metne ihtiyaç duyarlar.[1]Bakınız :robots.txt
Googlebot'un iki sürümü vardır: "Derinbot" (deepbot) ve "yenileyici bot" (fresh bot).
Googlebot bir sayfayı, o sayfa üzerinde bulunan bütün bağlantıları ziyaret ederek işler, sonra da o bağlantılardan başka web sayfalarına geçer. Bu nedenle ayrıca yeni web sayfaları indekslenmek için başka bilinen web sayfalarından ulaşılabilmelidir.
Site yöneticileri, Googlebot'un tarama yaptığı sırada siteye ayrılan bant genişliğinin çoğunu kullandığını ve bu nedenle web sitelerinin zaman zamanbant genişliği limitlerini aştığını ve geçici olarak sitelerinde çökmeler olduğunu belirtmektedirler. Bu durum özellikle onlarca gigabyte veri barındıran yansıma—ayna-- (İng.mirror) siteler için sorun olmaktadır. Google ayrıca site yöneticilerini tarama (indekslenme) oranlarını yükseltmek için çeşitli yolların anlatıldığı bir Webmaster Tools sayfasına sahiptir.[2]
 | Google ile ilgili bu maddetaslak seviyesindedir. Madde içeriğinigenişleterek Vikipedi'ye katkı sağlayabilirsiniz. |