Generátor robots.txt
Vytvorte korektný robots.txt s predvoľbami, vlastnými pravidlami, crawl-delay a odkazom na sitemapu.
Súvisiace nástroje
Generátor robots.txt
Vygenerujte syntakticky správny robots.txt za pár sekúnd. Vyberte predvoľbu — povoliť všetko, zakázať všetko alebo vlastné cesty — nastavte user-agent a súbor je pripravený na skopírovanie alebo stiahnutie ako robots.txt do koreňa vášho webu. Dve predvoľby vytvoria presné kanonické tvary: prázdny riadok Disallow, ktorý povoľuje celé prehľadávanie, alebo Disallow: /, ktorý blokuje celý web — presne to, čo potrebujete na testovacej doméne.
Pole user-agent prijíma viac názvov botov oddelených čiarkami; každý sa zapíše ako samostatný riadok User-agent v tej istej skupine. Pravidlá pre AI crawlery tak napíšete za chvíľu: zadajte GPTBot, ClaudeBot, Google-Extended, zvoľte predvoľbu zakázať všetko a pravidlá platia pre všetky naraz. Prázdne pole cieli hviezdičkou * na všetky roboty.
Pri predvoľbe vlastných ciest vypíšete cesty Disallow a Allow oddelené čiarkami. Chýbajúca úvodná lomka sa doplní automaticky, zástupné znaky ako /*.pdf prejdú bez zmeny a riadky Allow sú prvé, takže výnimky zo širších blokov sa čítajú prirodzene. Voliteľný Crawl-delay pridá odporúčanie na spomalenie, ktoré rešpektujú napríklad boty Bingu, a pole sitemapy pripojí riadok Sitemap s absolútnou URL, akú vyhľadávače očakávajú.
Súbor vzniká výhradne vo vašom prehliadači — o štruktúre vášho webu sa na server nič neposiela. Pamätajte, že robots.txt riadi prehľadávanie, nie prístup: slušné boty ho dodržiavajú, ale nie je to bezpečnostný mechanizmus, takže čokoľvek skutočne súkromné chráňte prihlásením.