Robots.txt tester
Zkontrolujte, zda jsou konkrétní cesty nebo adresy URL povoleny nebo blokovány souborem robots.txt.
Robots.txt tester
Vložte obsah souboru robots.txt, vypíšte cesty nebo celé adresy URL, které chcete zkontrolovat, a tento nástroj vám přesně řekne, které z nich mohou crawlery stahovat a které jsou blokovány. Je určen pro okamžiky, kdy stránka nečekaně přestane být indexována a potřebujete v sekundách potvrdit, jestli za tím stojí pravidlo Disallow — bez nasazení, bez čekání na živý crawl.
Vyberte crawler ze seznamu user-agentů — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — nebo zadejte vlastní token pro testování vašeho vlastního bota. Nástroj používá stejnou logiku jako skutečné crawlery: vyhraje nejdéle odpovídající pravidlo, Allow porazí Disallow stejné délky a oba znaky "*" (jakákoli posloupnost znaků) a koncové "$" (konec cesty) fungují přesně jako v živém robots.txt. Zapněte "Zobrazit rozhodující pravidlo" a uvidíte přesně, který řádek Allow nebo Disallow určil výsledek.
Zpráva obsahuje všechny deklarované řádky Sitemap a Crawl-delay pro vybraný user-agent. Upozorňuje také na chyby syntaxe — řádek bez dvojtečky, pravidla před prvním User-agent řádkem nebo směrnice, které crawlery neznají. Zvolte jednoduchou tabulku pro rychlý přehled nebo JSON pro zpracování výsledku skriptem nebo CI kontrolou.
Vše běží ve vašem prohlížeči. Obsah robots.txt a testované cesty nikdy neopustí váš počítač, takže je bezpečné kontrolovat pravidla pro weby, které ještě nejsou spušteny nebo jsou chráněny přihlášením.