Come controllare i crawler AI con robots.txt

Qualche anno fa i crawler che colpivano il tuo sito erano motori di ricerca e una lunga coda di scraper. Ora gran parte di essi appartiene a modelli linguistici: alcuni raccolgono pagine su cui allenarsi, altri recuperano una pagina dal vivo perché un utente ha posto una domanda al riguardo, e alcuni fanno entrambe le cose con nomi diversi. La superficie di controllo per tutti loro è lo stesso file di sempre: /robots.txt, un file di testo semplice alla radice del tuo dominio, ma le decisioni che ne stanno alla base sono nuove.

Addestramento, recupero e ricerca sono tre domande diverse

L'errore più comune è considerare il "crawler AI" come una cosa sola. Sono almeno tre e la maggior parte dei fornitori esegue un agente utente separato per ciascuno:

1. Raccolta formazione. Un bot che esegue la scansione in modo ampio e memorizza le pagine per un modello futuro. Bloccarlo oggi non ti costa nulla e non ti fa guadagnare nulla: è una decisione sulla licenza, non una decisione sul traffico.
2. Recupero dal vivo. Un recupero attivato da una persona in una finestra di chat che ha incollato il tuo URL o ha posto una domanda a cui risponde la tua pagina. Bloccarlo significa che l'assistente non può leggerti, non può citarti e non può collegarti.
3. Indicizzazione del motore di risposta. Un crawler che crea l'indice da cui risponde un prodotto di ricerca AI. Bloccarlo ti rimuove dai risultati di quel prodotto nello stesso modo in cui lo farebbe il blocco di un motore di ricerca.

Gli editori li bloccano regolarmente tutti e tre incollando una regola, poi si chiedono perché il loro marchio ha smesso di apparire nelle risposte dell'assistente. Decidi per categoria prima di scrivere una riga.

Chi è chi

I nomi che vedrai effettivamente nei tuoi registri e a cosa serve ciascuno:

• GPTBot — L'ampio crawler di OpenAI, associato alla raccolta dei dati di addestramento.
• OAI-SearchBot — Crawler di OpenAI per risultati in stile ricerca; bloccarlo è una decisione di visibilità, non di formazione.
• ChatGPT-User - un recupero dal vivo effettuato perché richiesto da un utente. C'è una persona che aspetta dall'altra parte di questa richiesta.
• ClaudeBot - L'ampio cingolato di Anthropic. Claude-User E Claude-SearchBot coprono i recuperi avviati dall'utente e l'indicizzazione delle ricerche.
• Google-Extended - per niente un crawler. È un token che ti consente di disattivare la formazione Gemini mentre Googlebot continua a eseguire la scansione per la Ricerca. Non consentirlo non influisce sul posizionamento nella ricerca; non consentito Googlebot lo fa moltissimo.
• PerplexityBot — indicizzazione per un motore di risposta che cita fonti in linea.
• CCBot — Scansione comune. Non è un’azienda di intelligenza artificiale, ma il suo archivio rappresenta un input formativo per molti di loro.
• Applebot-Extended, meta-externalagent, Amazonbot, Bytespider - lo stesso modello di Apple, Meta, Amazon e ByteDance.

I fornitori aggiungono e rinominano gli agenti regolarmente, quindi tratta qualsiasi elenco, incluso questo, come un'istantanea. L'abitudine durevole è leggere i propri log di accesso: estrarre le stringhe distinte dello user agent da una giornata di traffico ed eseguirle attraverso analizzatore dell'agente utente per vedere quali sono bot, quali sono browser e quali fingono di essere browser.

Scrivere le regole

La sintassi è invariata e spietata esattamente in un posto: ciascuno User-agent group si applica al bot che lo corrisponde più specificamentee un bot che corrisponde al proprio nome ignora il file * gruppo interamente. Quindi questo non fa quello che sembra:

Un gruppo per * che non consente nulla, seguito da un gruppo per GPTBot ciò non lo consente /, funziona bene. Ma se inserisci un ritardo di scansione o una regola della mappa del sito solo nel file * gruppo e presuppongono che i bot con nome lo ereditino, non lo fanno. Ripeti tutto ciò che conta in ciascun gruppo o mantieni le regole generali.

IL generatore robots.txt crea il file dalle caselle di controllo: scegli gli agenti che desideri consentire o bloccare, aggiungi i percorsi non consentiti e genera un output raggruppato correttamente con la riga della mappa del sito alla fine. Una volta che il file esiste, incollalo nel file tester robots.txt con un URL e un agente utente per confermare che la risposta è quella che intendevi. Qui i test sono più importanti del solito perché il fallimento è silenzioso: una regola che blocca accidentalmente tutto sembra esattamente una regola che funziona, finché il traffico non scompare un mese dopo.

Cosa non può fare robots.txt

Vale la pena interiorizzare tre limiti prima di affidarsi al file:

È una richiesta, non un recinto. I crawler ben educati lo onorano. Gli scraper che vogliono che i tuoi contenuti lo ignorino e nulla nel protocollo li ferma. Se hai bisogno di applicazione, questo risiede nella configurazione del tuo server, in un limitatore di velocità o in una regola WAF - e anche in questo caso stai abbinando stringhe agente utente e intervalli IP che possono essere falsificati.

Disallow non è noindex. Un URL non consentito può comunque essere visualizzato nei risultati se altri siti si collegano ad esso, perché al crawler viene detto di non recuperare la pagina ma non di dimenticarne l'esistenza. Se vuoi che una pagina esca da un indice, lascia che il crawler la recuperi e pubblichi un file noindex meta tag o intestazione. Il blocco nel file robots.txt impedisce attivamente al crawler di vedere quel tag.

È per host, schema e porta. https://example.com/robots.txt governa solo quell’origine – no www., non il sottodominio di staging, non il nome host CDN che serve le tue immagini. Ogni host che risponde alle richieste necessita del proprio file.

Punta i crawler su ciò che desideri venga indicizzato

L'altra metà del dossier è l'invito, non l'esclusione. UN Sitemap: fornisce a ogni crawler un elenco esplicito dei tuoi URL canonici e delle date dell'ultima modifica, che è il modo più economico per scoprire nuove pagine: il generatore di mappe del sito trasforma un elenco di URL in XML valido che puoi caricare insieme al file robots. Mantieni le due cose coerenti: un URL che appare nella tua mappa del sito ma non è consentito nel file robots.txt è una contraddizione che viene visualizzata come errore in ogni strumento di reporting che legge entrambi.

Potresti anche vedere llms.txt proposto come file complementare: un riepilogo markdown di un sito rivolto ai modelli piuttosto che ai crawler. Si tratta di una convenzione, non di uno standard, e nessun importante fornitore la considera una direttiva. Aggiungerne uno è innocuo; fare affidamento su di esso per il controllo non lo è.

Un default ragionevole

Se pubblichi contenuti e desideri raggiungere la portata, la configurazione su cui arriva la maggior parte dei siti è: consenti il recupero in tempo reale e i crawler del motore di risposta in modo che gli assistenti possano trovarti e citarti, bloccare o consentire l'addestramento collettivo dei crawler in base a come ti senti riguardo a tale operazione, non toccare mai Googlebot O Bingbot a meno che tu non sappia esattamente il motivo e mantieni una riga della mappa del sito che punti a un file corrente. Se pubblichi dietro un paywall o vendi licenze per il tuo archivio, il calcolo si inverte e il punto è il blocco dei crawler generali.

In ogni caso, scrivilo deliberatamente, testalo rispetto alle stringhe dello user agent reale e ricontrollalo ogni volta che un fornitore annuncia un nuovo bot. Sia il generatore che il tester vengono eseguiti interamente nel tuo browser: il tuo file robots, i tuoi URL e le tue righe di registro non lasciano mai la pagina.