Générateur de robots.txt
Créez un fichier robots.txt correct avec des préréglages, des règles personnalisées, un délai d'exploration et un lien vers le plan du site.
Générateur de robots.txt
Générez un fichier robots.txt syntaxiquement correct en quelques secondes. Choisissez un préréglage - tout autoriser, tout interdire ou chemins personnalisés - définissez l'agent utilisateur et le fichier apparaît prêt à être copié ou téléchargé en tant que robots.txt pour la racine de votre site. Les deux préréglages produisent les formes canoniques exactes : une ligne Disallow vide qui autorise toute l'exploration, ou Disallow: / qui bloque l'ensemble du site, ce que vous souhaitez sur un domaine intermédiaire.
Le champ user-agent accepte plusieurs noms de robots séparés par des virgules, chacun étant émis comme sa propre ligne User-agent dans le même groupe. Cela rend les politiques d'IA-crawler rapides à écrire : entrez GPTBot, ClaudeBot, Google-Extended, choisissez le préréglage "interdire tout", et les règles s'appliquent à chacun d'eux. Laissez le champ vide et le groupe cible chaque robot avec *.
Avec le préréglage personnalisé, vous répertoriez les chemins Interdire et Autoriser séparés par des virgules. Une barre oblique manquante est ajoutée automatiquement, les caractères génériques tels que /*.pdf sont transmis sans modification et les lignes Autoriser viennent en premier afin que les exceptions aux blocs plus larges soient lues naturellement. Un délai d'exploration facultatif ajoute l'indice de limitation que certains robots d'exploration tels que Bing respectent, et le champ du plan du site ajoute une ligne de plan du site avec l'URL absolue attendue par les moteurs de recherche.
Le fichier est entièrement généré dans votre navigateur — rien concernant la structure de votre site n'est envoyé à un serveur. Notez que robots.txt contrôle l'exploration, pas l'accès : les robots obéissants le suivent, mais ce n'est pas un mécanisme de sécurité, utilisez donc l'authentification pour tout ce qui est véritablement privé.