Hur man styr AI-sökrobotar med robots.txt

För några år sedan var sökrobotarna som träffade din webbplats sökmotorer och en lång svans av skrapor. Nu tillhör en stor del av dem språkmodeller: en del samlar sidor att träna på, en del hämtar en sida live för att en användare ställt en fråga om den, och en del gör båda under olika namn. Kontrollytan för dem alla är samma fil som den alltid har varit — /robots.txt, en vanlig textfil i roten av din domän – men besluten bakom den är nya.

Träning, apportering och sökning är tre olika frågor

Det vanligaste misstaget är att behandla "AI-crawler" som en sak. Det är minst tre, och de flesta leverantörer kör en separat användaragent för varje:

1. Träningssamling. En bot som genomsöker brett och lagrar sidor för en framtida modell. Att blockera det kostar dig ingenting idag och ger dig ingenting idag – det är ett licensbeslut, inte ett trafikbeslut.
2. Live hämtning. En hämtning utlöst av en person i ett chattfönster som klistrade in din webbadress eller ställde en fråga som din sida besvarar. Att blockera detta innebär att assistenten inte kan läsa dig, inte kan citera dig och inte länka dig.
3. Indexering av svarsmotor. En sökrobot som bygger indexet en AI-sökprodukt svarar från. Om du blockerar den tar du bort dig från produktens resultat på samma sätt som en sökmotor skulle blockera.

Utgivare blockerar rutinmässigt alla tre genom att klistra in en regel och undrar sedan varför deras varumärke slutade visas i assistentsvar. Bestäm per kategori innan du skriver en rad.

Vem är vem

Namnen du faktiskt kommer att se i dina loggar, och vad var och en är för:

• GPTBot — OpenAI:s breda sökrobot, associerad med insamling av träningsdata.
• OAI-SearchBot — OpenAI:s sökrobot för sökresultat; att blockera det är ett synlighetsbeslut, inte ett träningsmässigt.
• ChatGPT-User — en livehämtning gjord för att en användare frågade. Det finns en person som väntar i andra änden av denna begäran.
• ClaudeBot — Anthropics breda krypa. Claude-User och Claude-SearchBot täcka användarinitierade hämtningar och sökindexering.
• Google-Extended — inte en sökrobot alls. Det är en token som låter dig välja bort Gemini-träning medan Googlebot fortsätter att söka efter Sök. Att inte tillåta det påverkar inte din sökrankning; inte tillåta Googlebot väldigt mycket gör.
• PerplexityBot — indexering för en svarsmotor som citerar källor inline.
• CCBot — Vanlig krypning. Inte ett AI-företag, men dess arkiv är en utbildningsinsats för många av dem.
• Applebot-Extended, meta-externalagent, Amazonbot, Bytespider — samma mönster från Apple, Meta, Amazon och ByteDance.

Leverantörer lägger till och byter namn på agenter regelbundet, så behandla vilken lista som helst – inklusive den här – som en ögonblicksbild. Den varaktiga vanan är att läsa dina egna åtkomstloggar: dra de distinkta användaragentsträngarna från en dag med trafik och kör dem genom användaragent parser för att se vilka som är bots, vilka som är webbläsare och vilka som utger sig för att vara webbläsare.

Att skriva reglerna

Syntaxen är oförändrad och oförlåtande på exakt ett ställe: varje User-agent gruppen gäller för boten som matchar den mest specifikt, och en bot som matchar sitt eget namn ignorerar * gruppen helt och hållet. Så det här gör inte vad det ser ut som det gör:

En grupp för * som inte tillåter något, följt av en grupp för GPTBot som inte tillåter /, fungerar bra. Men om du bara lägger in en genomsökningsfördröjning eller en sitemap-regel i * grupp och antar att namngivna bots ärver det, det gör de inte. Upprepa allt som är viktigt i varje grupp, eller håll dina regler breda.

De robots.txt-generator bygger filen från kryssrutor — välj de agenter du vill tillåta eller blockera, lägg till dina otillåtna sökvägar och den avger korrekt grupperad utdata med din webbplatskartlinje i slutet. När filen finns, klistra in den i robots.txt-testare med en URL och en användaragent för att bekräfta att svaret är det du menade. Testning är viktigare än vanligt här eftersom felet är tyst: en regel som av misstag blockerar allt ser ut precis som en regel som fungerar, tills trafiken försvinner en månad senare.

Vad robots.txt inte kan göra

Tre gränser är värda att internalisera innan du litar på filen:

Det är en begäran, inte ett staket. Väluppfostrade sökrobotar hedrar det. Skrapare som vill ha ditt innehåll ignorerar det, och ingenting i protokollet stoppar dem. Om du behöver verkställighet, som finns i din serverkonfiguration, en hastighetsbegränsare eller en WAF-regel - och även då matchar du på användaragentsträngar och IP-intervall som kan fejkas.

Disallow är inte noindex. En otillåten webbadress kan fortfarande visas i resultaten om andra webbplatser länkar till den, eftersom sökroboten uppmanas att inte hämta sidan men inte glömma att den finns. Om du vill ha en sida ur ett index, låt sökroboten hämta den och visa en noindex metatagg eller rubrik. Blockering i robots.txt förhindrar aktivt sökroboten från att någonsin se taggen.

Det är per värd, system och port. https://example.com/robots.txt styr endast detta ursprung - inte www., inte mellandomänen, inte CDN-värdnamnet som betjänar dina bilder. Varje värd som svarar på förfrågningar behöver sin egen fil.

Peka sökrobotar på vad du vill ha indexerat

Den andra halvan av filen är inbjudan, inte uteslutning. A Sitemap: line ger varje sökrobot en explicit lista över dina kanoniska webbadresser och deras senast ändrade datum, vilket är det billigaste sättet att få nya sidor upptäckta — generator för webbplatskartor omvandlar en lista med webbadresser till giltig XML som du kan ladda upp tillsammans med robotfilen. Håll de två konsekventa: en webbadress som visas i din webbplatskarta medan den är otillåten i robots.txt är en motsägelse som visas som ett fel i varje rapportverktyg som läser båda.

Du kanske också ser llms.txt föreslagen som en kompletterande fil — en markdown-sammanfattning av en webbplats riktad mot modeller snarare än sökrobotar. Det är en konvention, inte en standard, och ingen större leverantör behandlar den som ett direktiv. Att lägga till en är ofarligt; att förlita sig på den för kontroll är det inte.

En rimlig standard

Om du publicerar innehåll och vill ha räckvidd är den inställning som de flesta webbplatser landar på: tillåt livesökning och sökmotorer med svar så att assistenter kan hitta och citera dig, blockera eller tillåta bulkutbildningssökrobotar beroende på hur du känner för den handeln, rör aldrig Googlebot eller Bingbot om du inte vet exakt varför, och behåll en webbplatskarta som pekar på en aktuell fil. Om du publicerar bakom en betalvägg eller säljer licenser till ditt arkiv, inverteras beräkningen och blockering av de breda sökrobotarna är poängen.

Hur som helst, skriv det medvetet, testa det mot riktiga användaragentsträngar och kontrollera det igen när en leverantör tillkännager en ny bot. Både generatorn och testaren körs helt i din webbläsare – din robotfil, dina webbadresser och dina loggrader lämnar aldrig sidan.