Robots.txt tester
Preverite, ali so določene poti ali spletni naslovi dovoljeni ali blokirani s s datoteko robots.txt.
Robots.txt tester
Prilepite vsebino datoteke robots.txt, navedite poti ali polne spletne naslove, ki jih želite preveriti, in to orodje vam točno pove, katere so crawlerjem dovoljene in katere so blokirane. Ustvarjeno je za trenutek, ko se stran nenadzorovano preneha indeksirati in morate v nekaj sekundah potrditi, ali je pravilo Disallow vzrok — brez razmeščanja, brez čakanja na neposredno crawliranje.
Izberite crawler s seznama uporabniških agentov — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — ali vnesite prilagojeni žeton za testiranje lastnega bota. Orodje uporablja isto logiko kot pravi crawleri: najdlje se ujemajoče pravilo zmaga, Allow premaga Disallow enake dolžine, oba znaka "*" (kateri koli niz znakov) in končno "$" (konec poti) pa delujejo točno kot v pravi robots.txt. Vklopite "Prikaži odločilno pravilo", da vidite točno, katero Allow ali Disallow linijo je proizvedla vsak rezultat, tako da preskočite ugibanje.
Poročilo vsebuje vse deklarirane vrstice Sitemap in kakršen koli Crawl-delay nastavljen za izbrani uporabniški agent ter označuje probleme sintakse — vrstico brez dvopičja, pravilo pred prvo vrstico User-agent ali direktive, ki jih crawlerji ne prepoznajo. Izberite preprosto tabelo za hitro branje ali JSON za pošiljanje rezultatov skriptu ali CI preverjanju.
Vse se izvaja v vašem brskalnikem. Vsebina robots.txt in testirane poti se nikoli ne pošljejo nikamor, zato je varno preveriti pravila za spletne strani, ki še niso objavljene ali so zaščitene s prijavami.