Robots.txt tester
Verificați dacă căile sau URL-urile specifice sunt permise sau blocate de un fișier robots.txt.
Robots.txt tester
Lipește conținutul unui fișier robots.txt, listează căile sau URL-urile complete pe care dorești să le verifici, și acest instrument îți spune exact care pot fi accesate de un crawler și care sunt blocate. Este creat pentru momentul în care o pagină misterios încetează să se clasifice și trebuie să confirmi, în câteva secunde, dacă o regulă Disallow este vinovată — fără deploy, fără a aștepta o raclare live.
Alege crawlerul din lista de user-agents — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — sau tastează un token personalizat pentru a testa propriul tău bot. Instrumentul aplică aceeași logică de potrivire ca și crawlerii reali: regula cea mai lungă câștigă, un Allow bate un Disallow de lungime egală, și atât "*" (orice secvență de caractere) cât și "$" final (sfârșit de cale) funcționează exact cum funcționează într-un robots.txt real. Activează "Afișează regula decisivă" pentru a vedea exact care linie Allow sau Disallow a produs fiecare rezultat.
Dincolo de căile individuale, raportul listează fiecare linie Sitemap declarată și orice Crawl-delay setat pentru user-agentul selectat, și marchează problemele de sintaxă — o directivă fără doi puncte, o regulă înainte de orice linie User-agent, sau câmpuri pe care crawlerii nu le recunosc. Alege un tabel simplu pentru citire rapidă sau JSON pentru a introduce rezultatul într-un script sau verificare de CI.
Totul se execută în browserul tău. Conținutul robots.txt și căile testate nu sunt niciodată trimise nicăieri, deci este sigur să verifici regulile pentru un site care nu a fost lansat încă sau este protejat de login.