Robots.txt tester
Skontrolujte, či sú konkrétne cesty alebo adresy URL povolené alebo zablokované súborom robots.txt.
Robots.txt tester
Vložte obsah súboru robots.txt, vypíšte cesty alebo plné adresy URL, ktoré chcete skontrolovať, a tento nástroj vám povie presne, ktoré sú pre crawlery povolené a ktoré sú zablokované. Je vytvorený pre situácie, keď stránka prestane nečakane indexovať a treba rýchlo potvrdiť, či je príčinou pravidlo Disallow — bez nasadzovania, bez čakania na live crawl.
Vyberte crawler zo zoznamu user-agentov — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — alebo napíšte vlastný token na testovanie vlastného bota. Nástroj používa rovnakú logiku ako skutočné crawlery: vyhrá najdlhšie sa zhodujúce pravidlo, Allow porazí Disallow rovnakej dĺžky a oba znaky "*" (akákoľvek sekvencia znakov) a koncové "$" (koniec cesty) fungujú presne ako v skutočnom robots.txt. Zapnite "Zobraziť rozhodujúce pravidlo" a uvidíte presne, ktorý riadok Allow alebo Disallow rozhodol o výsledku.
Správa obsahuje všetky deklarované riadky Sitemap a Crawl-delay pre zvolený user-agent. Zároveň upozorňuje na chyby syntaxe — riadok bez dvojbodky, pravidlo pred prvým User-agent riadkom alebo direktivy, ktoré crawlery nepoznajú. Vyberte si tabuľku na rýchly prehľad alebo JSON na spracovanie výsledku skriptom alebo CI check.
Všetko beží v tvojom prehliadači. Obsah robots.txt a testované cesty nikdy neopúšťajú tvoj počítač, preto je bezpečné kontrolovať pravidlá pre stránky, ktoré ešte nie sú spustené alebo sú chránené prihlasovaním.