Gerador Robots.txt
Crie um robots.txt correto com predefinições, regras personalizadas, atraso de rastreamento e um link de mapa do site.
Gerador Robots.txt
Gere um robots.txt sintaticamente correto em segundos. Escolha uma predefinição – permitir tudo, proibir tudo ou caminhos personalizados – defina o agente do usuário e o arquivo aparecerá pronto para ser copiado ou baixado como robots.txt para a raiz do seu site. As duas predefinições produzem as formas canônicas exatas: uma linha Disallow vazia que permite todo o rastreamento, ou Disallow: / que bloqueia todo o site, que é o que você deseja em um domínio de teste.
O campo user-agent aceita vários nomes de bot separados por vírgulas, cada um emitido como sua própria linha User-agent no mesmo grupo. Isso torna as políticas do rastreador de IA rápidas de escrever: digite GPTBot, ClaudeBot, Google-Extended, escolha a predefinição de proibir tudo e as regras se aplicam a todos eles. Deixe o campo vazio e o grupo direcionará cada rastreador com *.
Com a predefinição personalizada, você lista os caminhos Proibir e Permitir separados por vírgulas. Uma barra inicial ausente é adicionada automaticamente, curingas como /*.pdf passam inalterados e as linhas Allow vêm primeiro para que as exceções a blocos mais amplos sejam lidas naturalmente. Um atraso de rastreamento opcional adiciona a dica de limitação que alguns rastreadores, como o Bing, respeitam, e o campo do mapa do site anexa uma linha do Mapa do site com o URL absoluto que os mecanismos de pesquisa esperam.
O arquivo é gerado inteiramente no seu navegador – nada sobre a estrutura do seu site é enviado para um servidor. Observe que o robots.txt controla o rastreamento, não o acesso: bots obedientes o seguem, mas não é um mecanismo de segurança, portanto, use autenticação para qualquer coisa genuinamente privada.