Googlebot é o nome do crawler oficial da Google, o programa responsável por percorrer a web e recolher o conteúdo das páginas para que possam depois ser avaliadas e indexadas nos resultados de pesquisa.
Definição abrangente
Googlebot é o nome do crawler (rastreador automático) usado pela Google para descobrir, visitar e analisar páginas web, alimentando depois o processo de indexação e ranking.
Existem duas variantes principais: Googlebot Smartphone, que simula um dispositivo móvel e é o principal desde a mudança para indexação mobile-first, e Googlebot Desktop, usado com menor frequência.
Como confirmar se o Googlebot acede ao teu site
O relatório de Estatísticas de Rastreio na Google Search Console mostra o volume e o tipo de pedidos que o Googlebot fez ao site nos últimos 90 dias, incluindo códigos de resposta e tempo médio de resposta do servidor.
A ferramenta de Inspeção de URL permite também testar em tempo real como o Googlebot vê uma página específica, incluindo o HTML renderizado depois de JavaScript, o que ajuda a diagnosticar diferenças entre o que um humano vê e o que é efetivamente rastreado.
Como distinguir o Googlebot real de imitações
Como o User-Agent do Googlebot é público, qualquer bot pode declarar-se como tal sem realmente o ser. A forma fiável de verificar é através de uma pesquisa DNS reversa seguida de uma pesquisa direta do IP resultante, confirmando que pertence mesmo a domínios da Google.
Isto é relevante para quem gere firewalls ou sistemas de bloqueio de bots: bloquear por User-Agent sozinho não impede impostores, e confiar cegamente no User-Agent para dar acesso privilegiado também pode ser explorado por scrapers maliciosos disfarçados.
Artigos de blog relacionados:
Partilha este conteúdo: