Como usar o Screaming Frog para Auditorias SEO
Como usar o Screaming Frog para Auditorias SEO O Screaming Frog é a ferramenta que uso na maioria
O Screaming Frog SEO Spider é um software de rastreio (crawler) para desktop que analisa a estrutura técnica de um site: erros, redirecionamentos, títulos, meta descriptions, dados estruturados e muito mais. É uma das ferramentas mais usadas por SEOs técnicos em auditorias completas, e uma das que uso em praticamente todas as que faço.
O que é o Screaming Frog SEO Spider
O Screaming Frog SEO Spider é um software de rastreio (crawler) que percorre um site da mesma forma que o Googlebot o faz, seguindo links página a página, e devolve um relatório técnico completo sobre tudo o que encontra pelo caminho. É feito pela empresa britânica Screaming Frog Ltd e existe desde 2010, sendo hoje uma das ferramentas mais usadas por SEOs técnicos em todo o mundo, ao lado de nomes como Sitebulb ou o crawler nativo do Semrush.
Ao contrário de ferramentas como o Ahrefs ou o Semrush, que vivem na cloud e analisam o teu site a partir de fora, com base em amostras e dados agregados, o Screaming Frog é uma aplicação que instalas no teu computador (Windows, Mac ou Ubuntu) e que rastreia o site diretamente, em tempo real, com todo o controlo sobre a profundidade, velocidade, user-agent e regras do rastreio. Isto tem uma vantagem prática grande: o que vês é exatamente o que o teu servidor está a devolver naquele momento, sem intermediários nem dados desatualizados.
É também uma ferramenta relativamente “crua” no bom sentido, não tenta simplificar ou interpretar por ti. Mostra os dados tal como são, linha a linha, e cabe-te a ti (ou a mim, quando faço uma auditoria) perceber o que interessa e o que é ruído.
Para que serve
Uso esta ferramenta sempre que preciso de perceber o estado técnico real de um site: erros 404, cadeias de redirecionamentos (e redirecionamentos que apontam para outros redirecionamentos, um clássico problema escondido), títulos e meta descriptions em falta, duplicados ou demasiado longos, tags canónicas mal configuradas ou em conflito, páginas bloqueadas acidentalmente por robots.txt ou por meta tag noindex, profundidade de rastreio excessiva (páginas enterradas a 6 ou 7 cliques da homepage, que o Google dificilmente vai visitar com frequência) e estrutura de links internos.
É praticamente impossível fazer uma auditoria técnica séria sem passar por aqui. Uso-o tanto no início de um projeto, para perceber a dimensão real dos problemas de um site, como periodicamente, para confirmar que nada se degradou depois de uma migração, um redesign ou uma atualização do WordPress.
Principais funcionalidades
Rastreio técnico completo
Analisa códigos de resposta HTTP, redirecionamentos, títulos, meta descriptions, cabeçalhos H1/H2, contagem de palavras, links internos e externos, tags hreflang, atributos rel=canonical e diretivas de indexação, tudo numa única passagem pelo site.
Renderização de JavaScript
Tem um motor Chromium embutido que consegue renderizar sites construídos em React, Vue ou outras frameworks JavaScript, mostrando o conteúdo tal como o Google o vê depois de executar o código, não só o HTML inicial devolvido pelo servidor. Permite comparar o HTML “cru” com o HTML renderizado lado a lado, o que é essencial para perceber se há conteúdo que só existe depois do JavaScript correr e que pode estar a ser mal interpretado pelos motores de pesquisa.
Validação de dados estruturados
Deteta e valida schema.org markup (JSON-LD, Microdata e RDFa) em cada página rastreada, sinalizando erros de sintaxe e propriedades em falta segundo as diretrizes da Google e da própria especificação schema.org. Uso isto sempre que audito sites com muitos tipos de schema diferentes, é bem mais rápido do que validar página a página manualmente.
Visualizações e diagramas de arquitetura
Gera diagramas visuais da estrutura do site (crawl diagrams, árvores de diretórios, gráficos de força direcionada) que ajudam a perceber rapidamente como a arquitetura de informação está organizada, onde estão os “buracos negros” de profundidade excessiva, e como o link equity interno está distribuído.
Extração personalizada de dados
Permite configurar extração de dados específicos de cada página através de XPath, seletores CSS ou expressões regulares. Útil para recolher informação estruturada em grande escala, como preços, avaliações, disponibilidade de stock ou qualquer elemento HTML que precises de auditar em centenas de páginas de uma vez.
Deteção de alterações entre rastreios
Compara dois rastreios do mesmo site em momentos diferentes e destaca exatamente o que mudou: títulos alterados, novas páginas, páginas removidas, mudanças de código de resposta. Uso isto para confirmar, com dados concretos, que uma correção técnica ficou mesmo aplicada.
Geração e validação de sitemaps XML
Gera sitemaps XML diretamente a partir do rastreio e valida sitemaps já existentes, sinalizando URLs incluídos que na verdade devolvem erro, redirecionam ou estão marcados como noindex, um problema mais comum do que parece.
Integrações (Analytics, Search Console, PageSpeed)
Liga-se à Google Analytics, Google Search Console e à API do PageSpeed Insights para cruzar os dados do rastreio com métricas reais de tráfego, cliques, impressões e performance, direto na mesma tabela, sem precisares de exportar e cruzar ficheiros manualmente.
Agendamento automático de rastreios
Na versão paga, permite agendar rastreios recorrentes (diários, semanais, mensais) e exportar os resultados automaticamente, útil para monitorizar a saúde técnica de um site ao longo do tempo sem teres de correr o rastreio manualmente sempre.
Versão gratuita vs versão paga
A decisão entre versão gratuita e paga depende sobretudo da dimensão dos sites que trabalhas e da frequência com que precisas de os auditar. Para um teste pontual a um site pequeno, ou para decidires se a ferramenta serve as tuas necessidades antes de investires, a versão gratuita é mais do que suficiente. O limite de 500 URLs por rastreio cobre a maioria dos sites institucionais, blogs pequenos e páginas de aterragem, e já dá acesso à maior parte dos relatórios técnicos base: códigos de resposta, títulos, meta descriptions, cabeçalhos e links.
O problema aparece quando o trabalho se torna recorrente ou os sites crescem. Um e-commerce com 5.000 produtos, um site de notícias com um arquivo extenso, ou simplesmente o hábito de auditar vários clientes todas as semanas, tornam a versão gratuita impraticável rapidamente, não só pelo limite de URLs mas também pela ausência de funcionalidades que poupam horas de trabalho manual, como a renderização de JavaScript ou a deteção automática de alterações entre rastreios.
Do ponto de vista de quem presta serviços de auditoria SEO como eu, a licença paga paga-se sozinha ao fim da primeira ou segunda auditoria a um cliente, considerando o tempo que poupa e a profundidade adicional que permite entregar.
Funcionalidade | Screaming Frog Gratuito | Screaming Frog Pago |
|---|---|---|
Limite de URLs por rastreio | 500 | Ilimitado |
Relatórios técnicos base | Sim | Sim |
Renderização de JavaScript | Não | Sim |
Extração personalizada (XPath, CSS, regex) | Não | Sim |
Integração com Google Analytics | Não | Sim |
Integração com Search Console | Não | Sim |
Integração com PageSpeed Insights | Não | Sim |
Validação de dados estruturados | Não | Sim |
Deteção de alterações entre rastreios | Não | Sim |
Agendamento automático de rastreios | Não | Sim |
Guardar e reabrir rastreios | Não | Sim |
Geração de sitemaps XML | Sim | Sim |
Suporte da Screaming Frog Ltd | Não | Sim |
Screaming Frog Log File Analyser
Vale a pena mencionar que a Screaming Frog Ltd tem um segundo produto, o Log File Analyser, focado em analisar os ficheiros de log reais do servidor para perceber exatamente como o Googlebot (e outros crawlers) está a rastrear o site: que páginas visita com mais frequência, que orçamento de rastreio (crawl budget) está a ser gasto em páginas sem valor, e onde há discrepâncias entre o que achas que está a ser rastreado e o que realmente está.
Para quem é esta ferramenta
Feita sobretudo para SEOs técnicos, agências e equipas internas de marketing que precisam de auditar sites com regularidade e que valorizam ter controlo total sobre o processo de rastreio. Também é muito usada por developers que querem validar a estrutura técnica de um site antes ou depois de o lançar, e por gestores de conteúdo que precisam de identificar rapidamente páginas com títulos ou descrições em falta antes de uma revisão SEO.
Artigos sobre o Screaming Frog
O Screaming Frog funciona em sites com milhares de páginas?
Sim, mas com ressalvas. O rastreio é feito com base na memória RAM do computador por defeito, por isso sites muito grandes (dezenas ou centenas de milhares de URLs) podem exigir ajustar as definições para rastreio baseado em disco (database storage mode), disponível na versão paga, para não sobrecarregar a máquina.
O Screaming Frog substitui o Google Search Console?
Não, são complementares. O Search Console mostra-te como o Google vê e trata o teu site (indexação real, cliques, posições), enquanto o Screaming Frog simula um rastreio e mostra-te problemas técnicos antes de estes afetarem a forma como o Google interpreta o site. Uso os dois em conjunto, nunca um em vez do outro.
Quanto tempo demora a aprender a usar bem a ferramenta?
O básico (correr um rastreio e ler os relatórios principais) aprende-se em menos de uma hora. Tirar o máximo partido das funcionalidades avançadas, como extração personalizada ou configuração de rastreios complexos, é mais uma questão de prática continuada do que de uma curva de aprendizagem íngreme.
Funciona em sites WordPress ou só em código à medida?
Funciona em qualquer site, independentemente da tecnologia por trás, incluindo WordPress, Shopify, Wix ou código totalmente à medida. O Screaming Frog rasteia o HTML final devolvido pelo servidor (ou renderizado, se essa opção estiver ativa), não interage diretamente com o CMS.
Posso usar para analisar o site de um concorrente?
Tecnicamente sim, e é uma prática comum em análises competitivas. Por defeito, o Screaming Frog respeita o ficheiro robots.txt do site rastreado, tal como o Googlebot faria, por isso não vai aceder a áreas que o próprio site pede para não serem rastreadas.
O que acontece se um site bloquear o rastreio?
Se o robots.txt ou uma regra de firewall bloquear o user-agent do Screaming Frog, o rastreio para ou fica incompleto. É possível configurar um user-agent diferente ou ignorar o robots.txt nas definições, mas isso deve ser feito com bom senso e só em sites onde tens autorização para o fazer.
Preciso de manter o computador ligado durante todo o rastreio?
Sim, ao contrário de ferramentas cloud como o Ahrefs, o rastreio corre localmente no teu computador, por isso precisa de estar ligado e com a aplicação aberta até o rastreio terminar. Para sites grandes, isto pode demorar de minutos a várias horas, dependendo da dimensão e da velocidade de resposta do servidor.