Robots.txt generator
Izgradite ispravnu datoteku robots.txt s unaprijed postavljenim postavkama, prilagođenim pravilima, odgodom indeksiranja i vezom karte web-lokacije.
Robots.txt generator
Generirajte sintaktički ispravan robots.txt za nekoliko sekundi. Odaberite unaprijed postavljenu postavku — dopustite sve, zabranite sve ili prilagođene staze — postavite korisničkog agenta i datoteka će se pojaviti spremna za kopiranje ili preuzimanje kao robots.txt za korijen vaše stranice. Dvije unaprijed postavljene postavke proizvode točne kanonske oblike: prazan red Disallow koji dopušta sva indeksiranja ili Disallow: / koji blokira cijelo web mjesto, što je ono što želite na početnoj domeni.
Polje korisničkog agenta prihvaća nekoliko naziva bota odvojenih zarezima, a svaki se emitira kao vlastiti redak korisničkog agenta u istoj grupi. Zbog toga se pravila AI-crawlera brzo pišu: unesite GPTBot, ClaudeBot, Google-Extended, odaberite disallow-everything unaprijed postavljenu postavku i pravila se primjenjuju na sve njih. Ostavite polje prazno i grupa cilja svakog pretraživača sa *.
Uz prilagođenu unaprijed postavljenu postavku navodite staze Disallow i Allow odvojene zarezima. Kosa crta koja nedostaje dodaje se automatski, zamjenski znakovi poput /*.pdf prolaze nepromijenjeni, a dopušteni redovi dolaze prvi tako da se iznimke širih blokova čitaju prirodno. Opcijska odgoda indeksiranja dodaje savjet za prigušivanje koji neki alati za indeksiranje kao što je Bing respekt, a polje Sitemap dodaje Sitemap redak s apsolutnim URL-om koji tražilice očekuju.
Datoteka se u cijelosti generira u vašem pregledniku — ništa o strukturi vaše stranice ne šalje se poslužitelju. Imajte na umu da robots.txt kontrolira indeksiranje, a ne pristup: poslušni botovi ga slijede, ali to nije sigurnosni mehanizam, stoga koristite autentifikaciju za sve što je istinski privatno.