Crawl Budget: O que é e como evitar desperdiçá-lo
Para sites grandes, o Crawl Budget pode ser a diferença entre conteúdo novo ser descoberto em horas ou em meses. Percebe como funciona, o que o desperdiça, e quando realmente importa geri-lo.
O que é Crawl Budget
Para a maioria dos sites pequenos, o Crawl Budget nunca vai ser um problema real, mas para quem gere sites grandes, e-commerce com milhares de produtos, ou plataformas com conteúdo gerado dinamicamente, perceber como funciona pode ser a diferença entre o teu conteúdo mais importante ser descoberto rapidamente ou ficar esquecido durante meses.
Crawl Budget é o número de páginas que a Google decide rastrear num website num determinado período de tempo. Não é um valor fixo nem publicado, varia consoante o tamanho, a saúde técnica e a autoridade percebida de cada site.
Como o Crawl Budget é calculado
É a combinação de dois fatores distintos:
Crawl Capacity Limit: o limite técnico de quantos pedidos o servidor consegue responder sem ficar sobrecarregado. Um servidor lento ou instável reduz diretamente este limite, porque a Google abranda o ritmo de rastreio para não causar problemas ao site;
Crawl Demand: o quanto a Google “quer” rastrear o site, com base na popularidade percebida, na frequência de atualização de conteúdo, e na quantidade de URLs que considera valer a pena visitar.
Sinais de que estás a desperdiçar crawl budget
- O relatório de Estatísticas de Rastreio na Search Console mostra um volume elevado de pedidos a URLs de baixo valor (parâmetros, resultados de pesquisa interna);
- Páginas novas ou atualizadas importantes demoram semanas a ser rastreadas novamente;
- Uma percentagem elevada de páginas rastreadas nunca chega a ser indexada, sinal de Inchaço de Índice;
- O servidor mostra tempos de resposta lentos consistentemente nos relatórios de rastreio.
As causas mais comuns de desperdício
- Navegação por facetas sem controlo, gerando milhares de combinações de filtros rastreáveis;
- Parâmetros de URL de rastreio ou sessão que criam versões duplicadas do mesmo conteúdo;
- Cadeias de redirecionamento, que obrigam o crawler a fazer múltiplos pedidos para chegar a um único destino;
- Grandes quantidades de conteúdo fino ou quase duplicado, indexado sem necessidade.
Como otimizar o Crawl Budget
- Bloquear no robots.txt combinações de parâmetros sem valor de pesquisa próprio;
- Aplicar NOINDEX a páginas de baixo valor, em vez de as deixar acumular no índice sem necessidade;
- Manter o sitemap XML limpo, com apenas URLs que realmente devem ser indexados e rastreados com prioridade;
- Melhorar a velocidade de resposta do servidor, o que aumenta diretamente o Crawl Capacity Limit disponível;
- Eliminar cadeias de redirecionamento, apontando sempre diretamente ao destino final.
Quando é que o Crawl Budget realmente importa
A própria Google já confirmou que, para a maioria dos sites com menos de alguns milhares de páginas, o Crawl Budget raramente é a razão pela qual algo não é indexado, os problemas mais comuns nesses casos são técnicos (bloqueios, NOINDEX ) ou de qualidade de conteúdo. É sobretudo em websites grandes, com dezenas de milhares de páginas ou mais, ou em sites com conteúdo que muda com muita frequência (notícias, e-commerce de grande escala), que a gestão ativa do Crawl Budget faz uma diferença mensurável.
Perguntas Frequentes
O meu site pequeno precisa de se preocupar com Crawl Budget?
Na maioria dos casos, não. Sites com poucas centenas ou milhares de páginas raramente esgotam o crawl budget disponível, os problemas de indexação nesses casos costumam ter outra causa técnica.
Como vejo quantas páginas a Google rastreia no meu site por dia?
No relatório de Estatísticas de Rastreio da Google Search Console, disponível em Definições, que mostra o total de pedidos de rastreio dos últimos 90 dias.
Bloquear páginas no robots.txt melhora sempre o Crawl Budget?
Ajuda quando bloqueia páginas genuinamente de baixo valor que estavam a consumir rastreio sem necessidade. Bloquear páginas importantes por engano tem o efeito oposto ao pretendido.
Um servidor mais rápido aumenta mesmo o Crawl Budget?
Sim, diretamente. A Google ajusta o ritmo de rastreio consoante a capacidade de resposta do servidor — um servidor mais rápido e mais estável permite à Google rastrear mais páginas no mesmo período de tempo sem risco de sobrecarga.
Existe uma ferramenta que mostra diretamente o meu Crawl Budget?
Não existe um número único publicado pela Google. A forma mais próxima de o estimar é analisar o relatório de Estatísticas de Rastreio em conjunto com o volume total de páginas do website.
Analiso os teus dados reais de rastreio e identifico onde o crawl budget está a ser desperdiçado.
Partilha este artigo: