Robots.txt tester
Verifique se caminhos ou URLs específicos são permitidos ou bloqueados por um arquivo robots.txt.
Robots.txt tester
Cole o conteúdo de um arquivo robots.txt, liste os caminhos ou URLs completos que deseja verificar, e esta ferramenta lhe diz exatamente quais um crawler pode buscar e quais estão bloqueados. É feita para o momento em que uma página mysteriosamente para de classificar e você precisa confirmar, em segundos, se uma regra Disallow é a culpada — sem deploy, sem aguardar um rastreamento ao vivo.
Escolha o crawler da lista de user-agents — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — ou digite um token personalizado para testar seu próprio bot. A ferramenta aplica a mesma lógica que crawlers reais usam: a regra mais longa vence, um Allow bate um Disallow de comprimento igual, e tanto "*" (qualquer sequência de caracteres) quanto "$" no final (fim do caminho) funcionam exatamente como fazem em um robots.txt real. Ative "Mostrar regra decisiva" para ver precisamente qual linha Allow ou Disallow produziu cada resultado.
Além de caminhos individuais, o relatório lista cada linha Sitemap declarada e qualquer Crawl-delay definido para o user-agent selecionado, e sinaliza problemas de sintaxe — uma diretiva sem dois-pontos, uma regra antes de qualquer linha User-agent, ou campos que crawlers não reconhecem. Escolha uma tabela simples para leitura rápida ou JSON para alimentar o resultado em um script ou verificação de CI.
Tudo é executado no seu navegador. O conteúdo robots.txt e os caminhos testados nunca são enviados para lugar nenhum, então é seguro verificar regras para um site que ainda não foi lançado ou está protegido por login.