Robots.txt-generator
Bygg en korrekt robots.txt med förinställningar, anpassade regler, genomsökningsfördröjning och en webbplatskartalänk.
Robots.txt-generator
Generera en syntaktisk korrekt robots.txt på några sekunder. Välj en förinställning – tillåt allt, tillåt inte allt eller anpassade sökvägar – ställ in användaragenten så ser filen ut att vara redo att kopieras eller laddas ner som robots.txt för roten på din webbplats. De två förinställningarna producerar de exakta kanoniska formerna: en tom Disallow-rad som tillåter all genomsökning, eller Disallow: / som blockerar hela webbplatsen, vilket är vad du vill ha på en staging-domän.
User-agent-fältet accepterar flera botnamn separerade med kommatecken, var och en sänds ut som sin egen User-agent-rad i samma grupp. Det gör AI-crawler-policyer snabba att skriva: ange GPTBot, ClaudeBot, Google-Extended, välj förinställningen disallow-everything, och reglerna gäller för dem alla. Lämna fältet tomt och gruppen riktar in sig på varje sökrobot med *.
Med den anpassade förinställningen listar du Disallow och Tillåt sökvägar separerade med kommatecken. Ett saknat snedstreck läggs till automatiskt, jokertecken som /*.pdf passerar oförändrat och Tillåt rader kommer först så undantag från bredare block läses naturligt. En valfri genomsökningsfördröjning lägger till strypningstipset som vissa sökrobotar som Bing respekterar, och webbplatskartfältet lägger till en webbplatskartarad med den absoluta URL som sökmotorerna förväntar sig.
Filen genereras helt och hållet i din webbläsare - ingenting om din webbplatsstruktur skickas till en server. Observera att robots.txt styr genomsökning, inte åtkomst: lydiga bots följer den, men det är inte en säkerhetsmekanism, så använd autentisering för allt som är genuint privat.