So steuern Sie KI-Crawler mit robots.txt

Vor ein paar Jahren waren die Crawler, die Ihre Website erreichten, Suchmaschinen und eine lange Reihe von Scrapern. Mittlerweile gehören viele von ihnen zu Sprachmodellen: Manche sammeln Seiten zum Trainieren, manche rufen eine Seite live ab, weil ein Benutzer eine Frage dazu gestellt hat, und manche tun beides unter unterschiedlichen Namen. Die Bedienoberfläche für alle ist dieselbe Datei wie immer – /robots.txt, eine reine Textdatei im Stammverzeichnis Ihrer Domain – aber die Entscheidungen dahinter sind neu.

Training, Abrufen und Suchen sind drei verschiedene Aufgaben

Der häufigste Fehler besteht darin, „KI-Crawler“ als eine Sache zu behandeln. Es gibt mindestens drei, und die meisten Anbieter führen für jeden einen separaten Benutzeragenten aus:

1. Trainingssammlung. Ein Bot, der umfassend crawlt und Seiten für ein zukünftiges Modell speichert. Das Sperren kostet Sie heute nichts und bringt Ihnen heute auch nichts – es ist eine Lizenzentscheidung, keine Verkehrsentscheidung.
2. Live-Abruf. Ein Abruf, der von einer Person in einem Chatfenster ausgelöst wird, die Ihre URL eingefügt oder eine Frage gestellt hat, die Ihre Seite beantwortet. Wenn Sie dies blockieren, kann der Assistent Sie nicht lesen, Sie nicht zitieren und Sie nicht verlinken.
3. Indizierung der Antwortmaschine. Ein Crawler, der den Index erstellt, auf den ein KI-Suchprodukt antwortet. Durch das Blockieren werden Sie aus den Ergebnissen dieses Produkts entfernt, genau wie das Blockieren einer Suchmaschine.

Verleger blockieren routinemäßig alle drei, indem sie eine Regel einfügen, und fragen sich dann, warum ihre Marke nicht mehr in den Antworten der Assistenten erscheint. Entscheiden Sie sich für jede Kategorie, bevor Sie eine Zeile schreiben.

Wer ist wer?

Die Namen, die Sie tatsächlich in Ihren Protokollen sehen, und wozu sie dienen:

• GPTBot – Der breite Crawler von OpenAI, der mit der Erfassung von Trainingsdaten verbunden ist.
• OAI-SearchBot – OpenAIs Crawler für Ergebnisse im Suchstil; Das Blockieren ist eine Sichtbarkeitsentscheidung, keine Trainingsentscheidung.
• ChatGPT-User – ein Live-Abruf, der auf Anfrage eines Benutzers durchgeführt wurde. Am anderen Ende dieser Anfrage wartet eine Person.
• ClaudeBot – Anthropics breiter Crawler. Claude-User Und Claude-SearchBot decken benutzerinitiierte Abrufe und Suchindizierung ab.
• Google-Extended – überhaupt kein Crawler. Es handelt sich um einen Token, mit dem Sie sich vom Gemini-Training abmelden können, während der Googlebot weiterhin nach der Suche sucht. Wenn Sie dies nicht zulassen, hat dies keinen Einfluss auf Ihr Suchranking. nicht zulassen Googlebot sehr viel.
• PerplexityBot – Indizierung für eine Antwortmaschine, die Quellen inline zitiert.
• CCBot – Gemeinsames Kriechen. Kein KI-Unternehmen, aber sein Archiv ist für viele von ihnen ein Schulungsinput.
• Applebot-Extended, meta-externalagent, Amazonbot, Bytespider – das gleiche Muster von Apple, Meta, Amazon und ByteDance.

Anbieter fügen Agenten regelmäßig hinzu und benennen sie um. Behandeln Sie daher jede Liste – auch diese – als Momentaufnahme. Die dauerhafte Gewohnheit besteht darin, Ihre eigenen Zugriffsprotokolle zu lesen: Ziehen Sie die einzelnen Benutzeragentenzeichenfolgen aus einem Tag des Datenverkehrs und führen Sie sie durch Benutzeragenten-Parser um zu sehen, welche Bots sind, welche Browser sind und welche vorgeben, Browser zu sein.

Die Regeln schreiben

Die Syntax ist an genau einer Stelle unverändert und unversöhnlich: an jeder Stelle User-agent Die Gruppe gilt für den Bot, der ihr entspricht ganz konkret, und ein Bot, der mit seinem eigenen Namen übereinstimmt, ignoriert den * Gruppe vollständig. Das macht also nicht das, wonach es aussieht:

Eine Gruppe für * das verbietet nichts, gefolgt von einer Gruppe für GPTBot das verbietet /, funktioniert gut. Aber wenn Sie eine Crawl-Verzögerung oder eine Sitemap-Regel nur in die setzen * Gruppe und gehen davon aus, dass benannte Bots es erben, das tun sie nicht. Wiederholen Sie in jeder Gruppe alles, was wichtig ist, oder halten Sie Ihre Regeln weit gefasst.

Der robots.txt-Generator erstellt die Datei aus Kontrollkästchen – wählen Sie die Agenten aus, die Sie zulassen oder blockieren möchten, fügen Sie Ihre unzulässigen Pfade hinzu und es wird eine korrekt gruppierte Ausgabe mit Ihrer Sitemap-Zeile am Ende ausgegeben. Sobald die Datei vorhanden ist, fügen Sie sie in die Datei ein robots.txt-Tester mit einer URL und einem Benutzeragenten, um zu bestätigen, dass die Antwort die ist, die Sie gemeint haben. Das Testen ist hier wichtiger als sonst, weil der Fehler stillschweigend ist: Eine Regel, die versehentlich alles blockiert, sieht genauso aus wie eine Regel, die funktioniert, bis der Verkehr einen Monat später verschwindet.

Was robots.txt nicht kann

Drei Grenzen sollten Sie verinnerlichen, bevor Sie sich auf die Datei verlassen:

Es ist eine Bitte, kein Zaun. Brave Crawler ehren es. Scraper, die Ihren Inhalt haben wollen, ignorieren ihn und nichts im Protokoll hält sie davon ab. Wenn Sie eine Durchsetzung benötigen, steckt diese in Ihrer Serverkonfiguration, einem Ratenbegrenzer oder einer WAF-Regel – und selbst dann stimmen Sie auf Benutzeragentenzeichenfolgen und IP-Bereiche ab, die gefälscht werden können.

Disallow ist kein Noindex. Eine unzulässige URL kann dennoch in den Ergebnissen erscheinen, wenn andere Websites darauf verlinken, da der Crawler zwar angewiesen wird, die Seite nicht abzurufen, aber nicht vergisst, dass sie existiert. Wenn Sie eine Seite aus einem Index entfernen möchten, lassen Sie sie vom Crawler abrufen und bereitstellen noindex Meta-Tag oder Header. Durch das Blockieren in robots.txt wird aktiv verhindert, dass der Crawler dieses Tag jemals sieht.

Es gilt pro Host, Schema und Port. https://example.com/robots.txt regelt nur diesen Ursprung – nicht www., nicht die Staging-Subdomäne, nicht der CDN-Hostname, der Ihre Bilder bereitstellt. Jeder Host, der Anfragen beantwortet, benötigt eine eigene Datei.

Richten Sie Crawler auf das, was Sie indizieren möchten

Die andere Hälfte der Datei ist eine Einladung, kein Ausschluss. A Sitemap: line gibt jedem Crawler eine explizite Liste Ihrer kanonischen URLs und ihrer letzten Änderungsdaten. Dies ist der kostengünstigste Weg, neue Seiten zu entdecken – die Sitemap-Generator wandelt eine Liste von URLs in gültiges XML um, das Sie zusammen mit der Robots-Datei hochladen können. Halten Sie die beiden konsistent: Eine URL, die in Ihrer Sitemap erscheint, während sie in robots.txt nicht zulässig ist, ist ein Widerspruch, der in jedem Reporting-Tool, das beides liest, als Fehler angezeigt wird.

Vielleicht sehen Sie es auch llms.txt Als Begleitdatei vorgeschlagen – eine markdown-Zusammenfassung einer Website, die sich eher an Modelle als an Crawler richtet. Es handelt sich um eine Konvention, nicht um einen Standard, und kein großer Anbieter behandelt es als Richtlinie. Das Hinzufügen eines solchen ist harmlos; Sich darauf zur Kontrolle zu verlassen, ist nicht der Fall.

Eine vernünftige Vorgabe

Wenn Sie Inhalte veröffentlichen und Reichweite erzielen möchten, ist das Setup der meisten Websites folgendes: Erlauben Sie Live-Abruf- und Antwort-Engine-Crawler, damit Assistenten Sie finden und zitieren können, blockieren oder zulassen Sie Bulk-Trainings-Crawler, je nachdem, wie Sie zu diesem Geschäft stehen, berühren Sie sie niemals Googlebot oder Bingbot es sei denn, Sie wissen genau, warum, und behalten eine Sitemap-Zeile bei, die auf eine aktuelle Datei zeigt. Wenn Sie hinter einer Paywall veröffentlichen oder Lizenzen für Ihr Archiv verkaufen, kehrt sich die Rechnung um und es geht darum, die breiten Crawler zu blockieren.

Schreiben Sie es in jedem Fall bewusst, testen Sie es anhand echter Benutzeragentenzeichenfolgen und überprüfen Sie es erneut, wenn ein Anbieter einen neuen Bot ankündigt. Sowohl der Generator als auch der Tester laufen vollständig in Ihrem Browser – Ihre Robots-Datei, Ihre URLs und Ihre Protokollzeilen verlassen nie die Seite.