Robots.txt-testare
Kontrollera om specifika sökvägar eller URL:er tillåts eller blockeras av en robots.txt-fil.
Robots.txt-testare
Klistra in innehållet från en robots.txt-fil, lista de sökvägar eller fullständiga URL:er du vill kontrollera, och det här verktyget visar dig exakt vilka crawlers som tillåts hämta och vilka som är blockerade. Det är byggd för det ögonblicket när en sida plötsligt slutar att rankas och du behöver bekräfta på sekunder om en Disallow-regel är orsaken — ingen distribution, ingen väntan på ett live crawl.
Välj crawlern från User-Agent-listan — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — eller skriv in en anpassad token för att testa din egen bot. Verktyget använder samma matchningslogik som riktiga crawlers: det längsta matchande mönstret vinner, en Allow slår en Disallow av samma längd, och både "*" (alla teckensekvenser) och ett avslutande "$" (vägens slut) fungerar exakt som i en riktig robots.txt. Slå på "Visa avgörande regel" för att se exakt vilken Allow- eller Disallow-rad som bestämde varje resultat.
Rapporten visar alla deklarerade Sitemap-rader och eventuell Crawl-delay för den valda User-Agent. Den varnar också för syntaxfel — en rad utan kolon, en regel före första User-Agent-raden eller direktiv som crawlers inte känner igen. Välj en enkel tabell för en snabb översikt eller JSON för att bearbeta resultatet med ett skript eller CI-kontroll.
Allt körs i din webbläsare. Robots.txt-innehållet och de testade sökvägarna lämnar aldrig din dator, så det är säkert att kontrollera regler för webbplatser som inte har lanserats ännu eller som är skyddade med inloggning.