O robots.txt é um ficheiro de texto simples, colocado na diretoria raiz de um website, que serve para comunicar instruções aos robots dos motores de pesquisa (como o Googlebot) sobre quais as páginas ou seções do website que eles têm permissão para rastrear ou não.
Definição abrangente
O ficheiro robots.txt faz parte do Robots Exclusion Protocol (REP), um padrão utilizado por websites para comunicar com web crawlers e outros robots de pesquisa. A sua função principal não é esconder páginas do Google (para isso utiliza-se a tag noindex), mas sim gerir o Crawl Budget (orçamento de rastreio). Através de diretivas como Allow, Disallow e Sitemap, tu indicas ao algoritmo onde deve focar os seus recursos, evitando que ele perca tempo em áreas administrativas (como /wp-admin/) ou pastas de scripts que não agregam valor aos resultados de pesquisa.
Informação relevante e com maior detalhe
Para demonstrares autoridade técnica, deves considerar os seguintes aspetos avançados do robots.txt:
Diretiva User-agent: permite especificar instruções para robots específicos. Por exemplo, podes dar instruções diferentes ao Googlebot e ao Bingbot, ou até bloquear robots de inteligência artificial (como o CCBot ou GPTBot) se não quiseres que o teu conteúdo seja usado para treino de modelos sem autorização;
Gestão de Crawl Budget: em websites de grande dimensão (e-commerce com milhares de filtros, por exemplo), o
robots.txté vital para evitar a indexação de conteúdo duplicado gerado por parâmetros de URL;Localização Crítica: o ficheiro deve residir obrigatoriamente na raiz do domínio (ex:
oteuwebsite.com/robots.txt). Se estiver noutra pasta, será ignorado;Prioridade de Sitemap: é uma boa prática incluir o link direto para o teu XML Sitemap no final do
robots.txtpara facilitar a descoberta de novo conteúdo;Limitações: é importante referir que o
robots.txté um pedido, não uma ordem absoluta. Robots maliciosos podem ignorá-lo, e se outros websites colocarem links para uma página bloqueada no teu ficheiro, ela pode ainda assim aparecer nos resultados de pesquisa.
Artigos de blog relacionados:
Partilha este conteúdo: