Robots.txt-Generator
Erstelle eine korrekte robots.txt mit Vorlagen, eigenen Regeln, Crawl-delay und Sitemap-Link.
Verwandte Tools
Robots.txt-Generator
Erzeuge in Sekunden eine syntaktisch korrekte robots.txt. Wähle eine Vorlage — alles erlauben, alles verbieten oder eigene Pfade —, trage den User-Agent ein, und die Datei steht zum Kopieren oder als robots.txt-Download für das Stammverzeichnis deiner Website bereit. Die beiden Vorlagen liefern die kanonischen Formen: eine leere Disallow-Zeile, die alles Crawlen erlaubt, oder Disallow: /, das die komplette Website sperrt — genau richtig für eine Staging-Domain.
Das User-Agent-Feld nimmt mehrere Bot-Namen durch Kommas getrennt an; jeder wird als eigene User-agent-Zeile in derselben Gruppe ausgegeben. So sind Regeln für KI-Crawler schnell geschrieben: GPTBot, ClaudeBot, Google-Extended eintragen, die Vorlage „Alles verbieten“ wählen, und die Regeln gelten für alle zugleich. Bleibt das Feld leer, zielt die Gruppe mit * auf jeden Crawler.
Mit der Vorlage für eigene Pfade listest du Disallow- und Allow-Pfade kommagetrennt auf. Ein fehlender führender Schrägstrich wird automatisch ergänzt, Platzhalter wie /*.pdf bleiben unverändert, und Allow-Zeilen stehen zuerst, damit Ausnahmen von breiteren Sperren natürlich lesbar sind. Ein optionales Crawl-delay ergänzt den Drosselungshinweis, den etwa Bing beachtet, und das Sitemap-Feld hängt eine Sitemap-Zeile mit der absoluten URL an, die Suchmaschinen erwarten.
Die Datei entsteht vollständig in deinem Browser — nichts über deine Seitenstruktur wird an einen Server geschickt. Beachte: robots.txt steuert das Crawlen, nicht den Zugriff. Höfliche Bots halten sich daran, ein Sicherheitsmechanismus ist es aber nicht — wirklich Privates gehört hinter ein Login.