Generator robots.txt
Zbuduj poprawny robots.txt z szablonami, własnymi regułami, crawl-delay i linkiem do sitemapy.
Powiązane narzędzia
Generator robots.txt
Wygeneruj poprawny składniowo robots.txt w kilka sekund. Wybierz szablon — zezwól na wszystko, zablokuj wszystko albo własne ścieżki — ustaw user-agenta, a plik będzie gotowy do skopiowania lub pobrania jako robots.txt do katalogu głównego witryny. Dwa szablony tworzą dokładnie kanoniczne formy: pusty wiersz Disallow, który pozwala na pełne indeksowanie, albo Disallow: /, który blokuje całą witrynę — w sam raz dla domeny testowej.
Pole user-agent przyjmuje kilka nazw botów rozdzielonych przecinkami; każda trafia do osobnego wiersza User-agent w tej samej grupie. Reguły dla crawlerów AI napiszesz więc w chwilę: wpisz GPTBot, ClaudeBot, Google-Extended, wybierz szablon blokujący wszystko, a reguły obejmą je wszystkie naraz. Puste pole celuje gwiazdką * we wszystkie roboty.
W szablonie własnych ścieżek wypisujesz ścieżki Disallow i Allow rozdzielone przecinkami. Brakujący początkowy ukośnik jest dodawany automatycznie, symbole wieloznaczne jak /*.pdf przechodzą bez zmian, a wiersze Allow są pierwsze, dzięki czemu wyjątki od szerszych blokad czyta się naturalnie. Opcjonalny Crawl-delay dodaje wskazówkę spowalniającą, którą respektuje na przykład Bing, a pole sitemapy dokleja wiersz Sitemap z bezwzględnym adresem URL, jakiego oczekują wyszukiwarki.
Plik powstaje w całości w twojej przeglądarce — nic o strukturze twojej witryny nie trafia na serwer. Pamiętaj, że robots.txt steruje indeksowaniem, a nie dostępem: grzeczne boty go przestrzegają, ale nie jest to mechanizm bezpieczeństwa, więc wszystko naprawdę prywatne chroń logowaniem.