Robots.txt-tester
Controleer of bepaalde paden of URL's zijn toegestaan of geblokkeerd door een robots.txt-bestand.
Robots.txt-tester
Plak de inhoud van een robots.txt-bestand in, voer de paden of volledige URL's in die u wilt controleren, en dit hulpmiddel laat u precies zien welke crawlers mogen ophalen en welke zijn geblokkeerd. Het is ontworpen voor het moment waarop een pagina onverwacht niet meer wordt gerangschikt en u in seconden wilt bevestigen of een Disallow-regel de oorzaak is — geen implementatie, geen wachten op een live crawl.
Kies de crawler uit de User-Agent-lijst — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — of voer een aangepaste token in om uw eigen bot te testen. Het gereedschap gebruikt dezelfde matching-logica als echte crawlers: de langste overeenkomst wint, een Allow verslaat een Disallow van gelijke lengte, en beide "*" (willekeurige reeksen tekens) en een voorafgaande "$" (padeinde) werken precies zoals in een echte robots.txt. Schakel "Beslissende regel weergeven" in om precies te zien welke Allow- of Disallow-regel elk resultaat bepaalde.
Het rapport bevat alle gedeclareerde Sitemap-regels en eventueel Crawl-delay voor de geselecteerde User-Agent. Het waarschuwt ook voor syntaxisfouten — een regel zonder dubbele punt, een regel voor de eerste User-Agent-regel of richtlijnen die crawlers niet herkennen. Kies een eenvoudige tabel voor een snel overzicht of JSON om het resultaat met een script of CI-controle te verwerken.
Alles draait in uw browser. De robots.txt-inhoud en de getest paden verlaten uw computer nooit, dus het is veilig om regels te controleren voor websites die nog niet zijn gelanceerd of beveiligd zijn met een login.