Robots.txt tester
Vérifiez si des chemins ou URL spécifiques sont autorisés ou bloqués par un fichier robots.txt.
Robots.txt tester
Collez le contenu de votre fichier robots.txt, listez les chemins ou URL complets que vous voulez vérifier, et cet outil vous dit exactement lesquels un crawler peut récupérer et lesquels sont bloqués. Il est conçu pour le moment où une page disparaît mystérieusement des résultats et vous devez confirmer en secondes si une règle Disallow en est la cause — sans déploiement, sans attendre un rapatriement en direct.
Sélectionnez le crawler dans la liste — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — ou entrez un jeton personnalisé pour tester votre propre bot. L'outil applique la même logique que les vrais crawlers : la règle la plus longue gagne, un Allow bat un Disallow de même longueur, et "*" (toute séquence de caractères) et "$" en fin (fin de chemin) fonctionnent exactement comme dans un vrai robots.txt. Activez "Afficher la règle décisive" pour voir précisément quelle ligne Allow ou Disallow a produit chaque résultat, pour que vous cessiez de deviner.
Au-delà des chemins individuels, le rapport liste chaque ligne Sitemap déclarée et tout Crawl-delay défini pour l'agent utilisateur sélectionné, et signale les problèmes de syntaxe — une directive sans deux-points, une règle avant toute ligne User-agent, ou des champs que les crawlers ne reconnaissent pas. Choisissez un tableau simple pour une lecture rapide ou JSON pour traiter le résultat avec un script ou une vérification CI.
Tout s'exécute dans votre navigateur. Le contenu robots.txt et les chemins que vous testez ne sont jamais uploadés nulle part, il est donc sûr de vérifier les règles pour des sites pas encore lancés ou protégés par mot de passe.