Googlebot é orobô indexador usado peloGoogle para indexar páginas e documentos daweb para construir um índice de buscas para oGoogle Search. Existem dois tipos de rastreadores: o Googlebot Desktop e o Googlebot Mobile para dispositivos móveis. Ambos simulam a ação dos usuários nesses dois ambientes.
O Googlebot, principal rastreador e indexador de páginas da web do Google, possui a capacidade de rastrear sites através dos protocolos HTTP/1.1 eHTTP/2. Embora a escolha do protocolo não influencie diretamente na classificação das páginas nos resultados de pesquisa, a utilização do protocolo HTTP/2 pode resultar em economia de recursos computacionais, tais comoCPU eRAM, tanto para o site rastreado quanto para o próprio Googlebot. Além disso, é importante destacar que o Googlebot possui um limite de rastreamento de 15 MB para arquivos HTML e arquivos de texto compatíveis. Recursos referenciados noHTML, comoCSS eJavaScript, são rastreados de maneira independente e sujeitos ao mesmo limite de tamanho de arquivo. Caso esse limite seja atingido, o rastreamento é interrompido, e somente os primeiros 15 MB do arquivo são considerados para a indexação.
