Generatore di robots.txt
Crea un robots.txt corretto con preimpostazioni, regole personalizzate, ritardo di scansione e un collegamento alla mappa del sito.
Generatore di robots.txt
Genera un robots.txt sintatticamente corretto in pochi secondi. Scegli una preimpostazione (consenti tutto, non consenti tutto o percorsi personalizzati) imposta lo user-agent e il file apparirà pronto per essere copiato o scaricato come robots.txt per la root del tuo sito. Le due preimpostazioni producono le esatte forme canoniche: una riga Disallow vuota che consente tutta la scansione, o Disallow: / che blocca l'intero sito, che è ciò che desideri su un dominio di staging.
Il campo user-agent accetta diversi nomi di bot separati da virgole, ciascuno emesso come propria riga user-agent nello stesso gruppo. Ciò rende le policy del crawler AI veloci da scrivere: inserisci GPTBot, ClaudeBot, Google-Extended, scegli l'impostazione predefinita "Non consentire tutto" e le regole si applicano a tutti. Lascia il campo vuoto e il gruppo prende di mira ogni crawler con *.
Con la preimpostazione personalizzata elenchi i percorsi Non consentire e Consenti separati da virgole. Una barra iniziale mancante viene aggiunta automaticamente, i caratteri jolly come /*.pdf passano senza modifiche e le righe Consenti vengono prima in modo che le eccezioni ai blocchi più ampi vengano lette in modo naturale. Un ritardo di scansione opzionale aggiunge il suggerimento di limitazione che alcuni crawler come Bing rispettano e il campo della mappa del sito aggiunge una riga della mappa del sito con l'URL assoluto che i motori di ricerca si aspettano.
Il file viene generato interamente nel tuo browser: nulla della struttura del tuo sito viene inviato a un server. Tieni presente che robots.txt controlla la scansione, non l'accesso: i bot obbedienti lo seguono, ma non è un meccanismo di sicurezza, quindi usa l'autenticazione per qualsiasi cosa veramente privata.