Crawlers de IA são bots que percorrem a web, tal como o Googlebot, mas com o objetivo de recolher conteúdo para treinar modelos de linguagem ou alimentar respostas em tempo real de assistentes como o ChatGPT, o Claude ou o Perplexity.
Definição abrangente
Cada empresa de inteligência artificial opera o seu próprio crawler, identificável pelo respetivo User-Agent: o GPTBot e o OAI-SearchBot pertencem à OpenAI, o ClaudeBot à Anthropic, o PerplexityBot à Perplexity, e o Google-Extended controla especificamente se o conteúdo pode ser usado para treinar os modelos Gemini, separado do Googlebot tradicional que serve a pesquisa. Cada um tem um propósito ligeiramente diferente: uns recolhem dados para treino offline, outros fazem rastreio em tempo real para responder a uma pergunta específica de um utilizador.
Informação relevante e com maior detalhe
Como gerir o acesso destes crawlers ao teu site:
Controlo via robots.txt: cada crawler respeita regras dirigidas diretamente ao seu User-Agent, permitindo bloquear uns e permitir outros consoante a estratégia do site;
Bloquear nem sempre é a decisão certa: impedir estes crawlers reduz a hipótese de o site ser citado em respostas de IA, o que pode ser um objetivo de visibilidade tão válido como aparecer na pesquisa tradicional;
Verificação com ferramentas de rastreio: o Screaming Frog permite simular estes User-Agents para confirmar exatamente o que cada crawler de IA consegue ou não aceder;
Diferente do rastreio tradicional: alguns destes crawlers não executam JavaScript da mesma forma que o Googlebot, pelo que sites fortemente dependentes de renderização no cliente podem ficar invisíveis para eles mesmo sem bloqueio explícito.
Artigos de blog relacionados:
Partilha este conteúdo: