Robots.txt-generator
Bouw een correcte robots.txt met presets, aangepaste regels, crawl-vertraging en een sitemaplink.
Robots.txt-generator
Genereer binnen enkele seconden een syntactisch correcte robots.txt. Kies een voorinstelling (alles toestaan, alles niet toestaan of aangepaste paden) stel de user-agent in en het bestand lijkt klaar om te worden gekopieerd of gedownload als robots.txt voor de hoofdmap van uw site. De twee presets produceren de exacte canonieke vormen: een lege Disallow-regel die alle crawlen toestaat, of Disallow: / die de hele site blokkeert, wat je wilt op een staging-domein.
Het user-agentveld accepteert verschillende botnamen, gescheiden door komma's, die elk worden verzonden als hun eigen User-agent-regel in dezelfde groep. Dat maakt het beleid voor AI-crawlers snel te schrijven: voer GPTBot, ClaudeBot, Google-Extended in, kies de voorinstelling 'Alles niet toestaan' en de regels zijn op allemaal van toepassing. Laat het veld leeg en de groep target elke crawler met *.
Met de aangepaste voorinstelling vermeldt u de paden Disallow en Allow, gescheiden door komma's. Er wordt automatisch een ontbrekende schuine streep aan het begin toegevoegd, jokertekens zoals /*.pdf gaan onveranderd door en regels Toestaan komen eerst, zodat uitzonderingen op bredere blokken op natuurlijke wijze worden gelezen. Een optionele Crawl-delay voegt de throttling-hint toe die sommige crawlers, zoals Bing, respecteren, en het sitemapveld voegt een Sitemap-regel toe met de absolute URL die zoekmachines verwachten.
Het bestand wordt volledig in uw browser gegenereerd; er wordt niets over uw sitestructuur naar een server verzonden. Houd er rekening mee dat robots.txt het crawlen controleert, en niet de toegang: gehoorzame bots volgen het, maar het is geen beveiligingsmechanisme, dus gebruik authenticatie voor alles wat echt privé is.