Robots.txt tester
Provjerite jesu li određene putanje ili URL-ovi dozvoljeni ili blokirani robots.txt datotekom.
Robots.txt tester
Zalijepite sadržaj robots.txt datoteke, navedite putanje ili cijele URL-ove koje želite provjeriti, i ovaj alat vam točno kaže koje su crawlerima dozvoljene a koje su blokirane. Napravljen je za trenutak kada stranica neobjašnjivo prestane biti indeksirana i trebate potvrditi u nekoliko sekundi je li pravidlo Disallow uzrok — bez raspoređivanja, bez čekanja na direktno crawliranje.
Odaberite crawler sa popisa korisničkih agenata — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — ili unesite prilagođeni token za testiranje vlastitog bota. Alat primjenjuje istu logiku kao pravi crawleri: najduže se podudarajuće pravilo pobjeđuje, Allow pobjedi Disallow iste duljine, a i "*" (bilo koji niz znakova) i završna "$" (kraj putanje) funkcioniraju točno kao u pravi robots.txt. Uključite "Prikaži odlučujuće pravilo" da vidite točno koje Allow ili Disallow linija je proizvela svaki rezultat, tako da preskočite nagađanja.
Izvještaj sadrži sve deklarirane Sitemap linije i bilo koji Crawl-delay postavljen za odabrani korisniki agent te označava probleme sintakse — liniju bez dvotačke, pravilo prije prvoga User-agent reda ili direktive koje crawleri ne prepoznaju. Odaberite prostinu tablicu za brzo čitanje ili JSON za slanje rezultata skripti ili CI provjeri.
Sve se izvršava u vašem pregledniku. Sadržaj robots.txt i testne putanje nikad se nigdje ne učitavaju, tako da je sigurno provjeriti pravila za stranice koje još nisu pokrenute ili su zaštićene prijavom.