Robots.txt tester
Ellenőrizze, hogy adott útvonalak vagy URL-ek engedélyezve vagy letiltva vannak-e egy robots.txt fájl által.
Robots.txt tester
Illessze be egy robots.txt fájl tartalmát, sorolja fel az ellenőrizni kívánt útvonalakat vagy teljes URL-eket, és ez az eszköz pontosan megmondja, melyeket lehet egy crawler lekérni és melyeket tiltja le. Az eszköz arra készült, amikor egy oldal váratlanul lekerül a keresési eredményekből, és másodperceken belül megerősítenie kell, hogy egy Disallow szabály az oka — szükségtelen telepítés és élő crawl megvárása nélkül.
Válassza ki a crawlert a felhasználóagent-listáról — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — vagy írjon be egyéni tokent saját bot teszteléséhez. Az eszköz ugyanazt az egyeztetési logikát alkalmazza, mint a valódi crawlerek: a leghosszabb illeszkedő szabály nyer, egy Allow legyőz egy azonos hosszúságú Disallow-t, és mind a "*" (karakterek bármilyen sorozata), mind a záró "$" (útvonal vége) pontosan úgy működik, mint egy élő robots.txt fájlban. A „Döntő szabály megjelenítése” bekapcsolásával pontosan láthatja, mely Allow vagy Disallow sor adta az egyes eredményeket.
Az egyedi útvonalakon túl a jelentés felsorolja a fájl által deklarált összes Sitemap sort és a kiválasztott felhasználóagenthez beállított Crawl-delay értékeket, valamint szintaxishibákat jelez — egy kettőspont nélküli sort, egy User-agent sor előtti szabályt vagy egy ismeretlen direktívát. Válasszon egyszerű táblázatot a gyors áttekintéshez vagy JSON-t az eredmény szkriptbe vagy CI-ellenőrzésbe történő betáplálásához.
Minden a böngészőjében fut. A robots.txt tartalom és a tesztelt útvonalak soha nem töltődnek fel sehova, így biztonságos új vagy bejelentkezéssel védett webhelyekhez szabályok ellenőrzése.