Robots.txt-Tester
Überprüfen Sie, ob bestimmte Pfade oder URLs durch eine robots.txt-Datei zulässig oder blockiert sind.
Robots.txt-Tester
Fügen Sie den Inhalt einer robots.txt-Datei ein, listen Sie die Pfade oder vollständigen URLs auf, die Sie überprüfen möchten, und dieses Tool zeigt Ihnen genau, welche Crawler abrufen darf und welche blockiert sind. Es wurde für den Moment entwickelt, wenn eine Seite unerwartet nicht mehr gerankt wird und Sie schnell bestätigen müssen, ob eine Disallow-Regel die Ursache ist — kein Deployment, kein Warten auf einen Live-Crawl.
Wählen Sie den Crawler aus der User-Agent-Liste — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — oder geben Sie einen benutzerdefinierten Token ein, um Ihren eigenen Bot zu testen. Das Tool verwendet dieselbe Matching-Logik wie echte Crawler: die längste Übereinstimmung gewinnt, ein Allow schlägt ein Disallow gleicher Länge, und beide "*" (beliebige Zeichenfolgen) und das nachstehende "$" (Pfadende) funktionieren genau wie in einem echten robots.txt. Aktivieren Sie "Entscheidende Regel anzeigen", um zu sehen, welche Allow- oder Disallow-Zeile jedes Ergebnis bestimmt.
Der Bericht enthält alle deklarierten Sitemap-Zeilen und eventuelles Crawl-Delay für den ausgewählten User-Agent. Er warnt auch vor Syntaxproblemen — eine Zeile ohne Doppelpunkt, eine Regel vor der ersten User-Agent-Zeile oder Direktiven, die Crawler nicht kennen. Wählen Sie eine einfache Tabelle zum schnellen Überblick oder JSON, um das Ergebnis mit einem Skript oder einer CI-Prüfung zu verarbeiten.
Alles läuft in Ihrem Browser. Der robots.txt-Inhalt und die getesteten Pfade werden niemals hochgeladen, daher ist es sicher, Regeln für Websites zu überprüfen, die noch nicht gestartet wurden oder hinter einem Login geschützt sind.