Robots.txt tester
Sprawdź, czy określone ścieżki lub adresy URL są dozwolone lub zablokowane przez plik robots.txt.
Robots.txt tester
Wklej zawartość pliku robots.txt, wypisz ścieżki lub pełne adresy URL, które chcesz sprawdzić, a to narzędzie powie ci dokładnie, które z nich crawlery mogą pobrać, a które są zablokowane. Zostało stworzone dla momentów, gdy strona niespodziewanie przestaje być indeksowana i potrzebujesz w kilka sekund potwierdzić, czy przyczyną jest reguła Disallow — bez wdrażania, bez czekania na żywy crawl.
Wybierz crawler z listy user-agentów — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — lub wpisz własny token, aby przetestować własny bot. Narzędzie używa tej samej logiki, co prawdziwe crawlery: zwycięża najdłużej pasująca reguła, Allow pokonuje Disallow o równej długości, a zarówno "*" (dowolna sekwencja znaków), jak i końcowy "$" (koniec ścieżki) działają dokładnie jak w żywym robots.txt. Włącz "Pokaż decydującą regułę", aby zobaczyć dokładnie, który wiersz Allow lub Disallow określił wynik.
Raport zawiera wszystkie zadeklarowane linie Sitemap i Crawl-delay dla wybranego user-agenta. Ostrzega również o błędach składni — wiersz bez dwukropka, reguły przed pierwszą linią User-agent lub dyrektywy, których crawlery nie znają. Wybierz zwykłą tabelę do szybkiego przeglądu lub JSON do przetwarzania wyniku skryptem lub sprawdzeniem CI.
Wszystko działa w twojej przeglądarce. Zawartość robots.txt i testowane ścieżki nigdy nie opuszczą twój komputer, więc bezpiecznie jest sprawdzać reguły dla stron, które nie zostały jeszcze uruchomione lub są chronione logowaniem.