Robots.txt tester
Verifica se percorsi o URL specifici sono consentiti o bloccati da un file robots.txt.
Robots.txt tester
Incolla il contenuto del tuo file robots.txt, elenca i percorsi o URL completi che vuoi verificare, e questo strumento ti dice esattamente quali un crawler può recuperare e quali sono bloccati. È costruito per quel momento in cui una pagina scompare misteriosamente dai risultati di ricerca e devi confermare in secondi se una regola Disallow ne è la causa — senza deployment, senza aspettare una scansione dal vivo.
Seleziona il crawler dall'elenco — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — o digita un token personalizzato per testare il tuo bot. Lo strumento applica la stessa logica dei veri crawler: vince la regola più lunga corrispondente, un Allow batte un Disallow di pari lunghezza, e sia "*" (qualsiasi sequenza di caratteri) che "$" finale (fine percorso) funzionano esattamente come in un vero robots.txt. Attiva "Mostra regola decisiva" per vedere precisamente quale linea Allow o Disallow ha prodotto ogni risultato, così smetti di indovinare.
Oltre ai singoli percorsi, il report elenca ogni riga Sitemap dichiarata e qualsiasi Crawl-delay impostato per l'agente selezionato, e segnala problemi di sintassi — una direttiva senza due punti, una regola prima di qualsiasi riga User-agent, o campi che i crawler non riconoscono. Scegli una semplice tabella per una lettura veloce o JSON per elaborare il risultato con uno script o un controllo CI.
Tutto gira nel tuo browser. Il contenuto robots.txt e i percorsi che testi non vengono mai caricati da nessuna parte, quindi è sicuro verificare le regole per siti non ancora lanciati o protetti da password.