Generátor robots.txt
Sestavte korektní robots.txt s předvolbami, vlastními pravidly, crawl-delay a odkazem na sitemapu.
Související nástroje
Generátor robots.txt
Vygenerujte syntakticky správný robots.txt během pár sekund. Vyberte předvolbu — povolit vše, zakázat vše, nebo vlastní cesty — nastavte user-agent a soubor je připravený ke zkopírování nebo stažení jako robots.txt do kořene webu. Obě předvolby vytvoří přesné kanonické tvary: prázdný řádek Disallow, který povoluje veškeré procházení, nebo Disallow: /, který blokuje celý web — přesně to, co se hodí na testovací doméně.
Pole user-agent přijímá více názvů botů oddělených čárkami; každý se zapíše jako samostatný řádek User-agent v téže skupině. Pravidla pro AI crawlery tak napíšete během chvilky: zadejte GPTBot, ClaudeBot, Google-Extended, zvolte předvolbu zakázat vše a pravidla platí pro všechny najednou. Prázdné pole míří hvězdičkou * na všechny roboty, včetně SeznamBota.
U předvolby vlastních cest vypíšete cesty Disallow a Allow oddělené čárkami. Chybějící úvodní lomítko se doplní automaticky, zástupné znaky jako /*.pdf projdou beze změny a řádky Allow jsou první, takže výjimky z širších bloků se čtou přirozeně. Volitelný Crawl-delay přidá doporučení ke zpomalení, které respektuje třeba Bing, a pole sitemapy připojí řádek Sitemap s absolutní URL, jakou vyhledávače očekávají.
Soubor vzniká výhradně ve vašem prohlížeči — o struktuře vašeho webu se na server nic neposílá. Pamatujte, že robots.txt řídí procházení, ne přístup: slušní boti ho dodržují, ale bezpečnostní mechanismus to není, takže cokoli opravdu soukromého chraňte přihlášením.