Comment contrôler les robots d'exploration IA avec robots.txt

Il y a quelques années, les robots qui frappaient votre site étaient des moteurs de recherche et une longue liste de scrapers. Désormais, une grande partie d'entre eux appartiennent à des modèles de langage : certains collectent des pages sur lesquelles s'entraîner, d'autres récupèrent une page en direct parce qu'un utilisateur a posé une question à ce sujet, et certains font les deux sous des noms différents. La surface de contrôle pour chacun d’eux est le même fichier qu’elle a toujours été — /robots.txt, un fichier texte brut à la racine de votre domaine, mais les décisions qui le sous-tendent sont nouvelles.

La formation, la récupération et la recherche sont trois demandes différentes

L’erreur la plus courante est de traiter le « robot d’exploration IA » comme une seule et même chose. Il y en a au moins trois, et la plupart des fournisseurs exécutent un agent utilisateur distinct pour chacun :

1. Collecte de formation. Un bot qui explore largement et stocke les pages pour un futur modèle. Le bloquer ne vous coûte rien aujourd’hui et ne vous rapporte rien aujourd’hui – il s’agit d’une décision de licence, pas d’une décision en matière de trafic.
2. Récupération en direct. Une récupération déclenchée par une personne dans une fenêtre de discussion qui a collé votre URL ou posé une question à laquelle votre page répond. Bloquer cela signifie que l'assistant ne peut pas vous lire, ne peut pas vous citer et ne peut pas vous relier.
3. Indexation du moteur de réponse. Un robot d'exploration qui crée l'index à partir duquel un produit de recherche d'IA répond. Le bloquer vous supprime des résultats de ce produit de la même manière que le bloquerait un moteur de recherche.

Les éditeurs bloquent régulièrement les trois en collant une règle, puis se demandent pourquoi leur marque a cessé d'apparaître dans les réponses de l'assistant. Décidez par catégorie avant d’écrire une ligne.

Qui est qui

Les noms que vous verrez réellement dans vos journaux et à quoi sert chacun :

• GPTBot — Le large robot d'OpenAI, associé à la collecte de données de formation.
• OAI-SearchBot — Le robot d'exploration d'OpenAI pour les résultats de recherche ; le bloquer est une décision de visibilité, pas une décision de formation.
• ChatGPT-User - une récupération en direct effectuée suite à la demande d'un utilisateur. Il y a une personne qui attend à l’autre bout du fil de cette demande.
• ClaudeBot — Le grand robot d'Anthropic. Claude-User et Claude-SearchBot couvrent les récupérations initiées par l'utilisateur et l'indexation des recherches.
• Google-Extended - pas du tout un robot. Il s'agit d'un jeton qui vous permet de vous désinscrire de la formation Gemini pendant que Googlebot continue d'explorer la recherche. Le refuser n’affecte pas votre classement dans les recherches ; interdire Googlebot fait beaucoup.
• PerplexityBot - indexation pour un moteur de réponse qui cite les sources en ligne.
• CCBot — Analyse commune. Ce n'est pas une entreprise d'IA, mais ses archives sont un apport de formation pour beaucoup d'entre elles.
• Applebot-Extended, meta-externalagent, Amazonbot, Bytespider — le même modèle d'Apple, Meta, Amazon et ByteDance.

Les fournisseurs ajoutent et renomment régulièrement des agents, alors traitez n'importe quelle liste, y compris celle-ci, comme un instantané. L'habitude durable consiste à lire vos propres journaux d'accès : extrayez les chaînes distinctes de l'agent utilisateur d'une journée de trafic et exécutez-les via le analyseur d'agent utilisateur pour voir lesquels sont des robots, lesquels sont des navigateurs et lesquels prétendent être des navigateurs.

Écrire les règles

La syntaxe est inchangée et impitoyable à exactement un seul endroit : chaque User-agent le groupe s'applique au bot qui lui correspond plus spécifiquement, et un bot qui correspond à son propre nom ignore le * groupe entièrement. Cela ne donne donc pas l'effet escompté :

Un groupe pour * qui ne interdit rien, suivi d'un groupe pour GPTBot qui interdit /, fonctionne bien. Mais si vous mettez un délai d'exploration ou une règle de plan de site uniquement dans le * groupe et supposez que les robots nommés en héritent, ce n’est pas le cas. Répétez tout ce qui compte dans chaque groupe ou gardez vos règles générales.

Le générateur de robots.txt construit le fichier à partir de cases à cocher – choisissez les agents que vous souhaitez autoriser ou bloquer, ajoutez vos chemins non autorisés et il émet une sortie correctement groupée avec la ligne de votre plan de site à la fin. Une fois le fichier existant, collez-le dans le testeur de robots.txt avec une URL et un agent utilisateur pour confirmer que la réponse est bien celle que vous vouliez dire. Les tests sont ici plus importants que d'habitude car l'échec est silencieux : une règle qui bloque tout accidentellement ressemble exactement à une règle qui fonctionne, jusqu'à ce que le trafic disparaisse un mois plus tard.

Ce que robots.txt ne peut pas faire

Trois limites méritent d’être internalisées avant de s’appuyer sur le fichier :

C'est une demande, pas une clôture. Les robots bien élevés l'honorent. Les scrapers qui veulent votre contenu l'ignorent et rien dans le protocole ne les arrête. Si vous avez besoin d'une application, cela réside dans la configuration de votre serveur, d'un limiteur de débit ou d'une règle WAF - et même dans ce cas, vous faites correspondre les chaînes d'agent utilisateur et les plages IP qui peuvent être falsifiées.

Disallow n'est pas noindex. Une URL non autorisée peut toujours apparaître dans les résultats si d'autres sites y renvoient, car il est demandé au robot d'exploration de ne pas récupérer la page mais d'oublier qu'elle existe. Si vous souhaitez extraire une page d'un index, laissez le robot la récupérer et servir un noindex balise méta ou en-tête. Le blocage dans robots.txt empêche activement le robot d'exploration de voir cette balise.

C'est par hôte, schéma et port. https://example.com/robots.txt régit uniquement cette origine - et non www., pas le sous-domaine intermédiaire, ni le nom d'hôte CDN servant vos images. Chaque hôte qui répond aux demandes a besoin de son propre fichier.

Dirigez les robots vers ce que vous souhaitez indexer

L’autre moitié du dossier est une invitation et non une exclusion. UN Sitemap: La ligne donne à chaque robot une liste explicite de vos URL canoniques et de leurs dates de dernière modification, ce qui est le moyen le moins cher de découvrir de nouvelles pages - le générateur de plan de site transforme une liste d'URL en XML valide que vous pouvez télécharger avec le fichier robots. Gardez les deux cohérents : une URL qui apparaît dans votre plan de site alors qu'elle est interdite dans le fichier robots.txt est une contradiction qui apparaît comme une erreur dans chaque outil de reporting qui lit les deux.

Vous pouvez également voir llms.txt proposé comme fichier compagnon — un résumé markdown d'un site destiné aux modèles plutôt qu'aux robots d'exploration. Il s’agit d’une convention, pas d’une norme, et aucun fournisseur majeur ne la traite comme une directive. En ajouter un est inoffensif ; compter sur lui pour le contrôle ne l’est pas.

Un défaut raisonnable

Si vous publiez du contenu et souhaitez atteindre, la configuration sur laquelle atterrissent la plupart des sites est la suivante : autorisez la récupération en direct et les robots d'exploration du moteur de réponse afin que les assistants puissent vous trouver et vous citer, bloquer ou autoriser la formation groupée des robots d'exploration en fonction de ce que vous pensez de ce métier, ne jamais toucher. Googlebot ou Bingbot sauf si vous savez exactement pourquoi, et gardez une ligne de plan du site pointant vers un fichier en cours. Si vous publiez derrière un paywall ou vendez des licences pour vos archives, le calcul s'inverse et le blocage des grands robots d'exploration est le problème.

Quoi qu'il en soit, écrivez-le délibérément, testez-le par rapport à de véritables chaînes d'agent utilisateur et revérifiez-le chaque fois qu'un fournisseur annonce un nouveau bot. Le générateur et le testeur fonctionnent entièrement dans votre navigateur : votre fichier robots, vos URL et vos lignes de journal ne quittent jamais la page.