Generator robots.txt
Zgradite pravilno datoteko robots.txt s prednastavitvami, pravili po meri, zakasnitvijo iskanja po vsebini in povezavo do zemljevida spletnega mesta.
Generator robots.txt
Ustvari sintaktično pravilno datoteko robots.txt v nekaj sekundah. Izberite prednastavitev — dovolite vse, onemogočite vse ali poti po meri — nastavite uporabniškega agenta in datoteka bo pripravljena za kopiranje ali prenos kot robots.txt za koren vašega spletnega mesta. Dve prednastavitvi ustvarita natančne kanonične oblike: prazno vrstico Disallow, ki dovoli vse pajke, ali Disallow: /, ki blokira celotno spletno mesto, kar želite na uprizoritveni domeni.
Polje uporabniškega agenta sprejme več imen botov, ločenih z vejicami, od katerih je vsako oddano kot lastna vrstica uporabniškega agenta v isti skupini. To omogoča hitro pisanje pravilnikov pajka z umetno inteligenco: vnesite GPTBot, ClaudeBot, Google-Extended, izberite prednastavitev disallow-everything in pravila veljajo za vse. Pustite polje prazno in skupina cilja na vsakega pajka z *.
S prednastavitvijo po meri navedete poti Disallow in Allow, ločene z vejicami. Manjkajoča začetna poševnica se doda samodejno, nadomestni znaki, kot je /*.pdf, gredo nespremenjeni, vrstice za dovoljenje pa so na prvem mestu, tako da se izjeme pri širših blokih berejo naravno. Izbirna zakasnitev pri pajku doda namig za dušenje, ki ga nekateri pajki, kot je spoštovanje Bing, in polje zemljevida spletnega mesta doda vrstico zemljevida spletnega mesta z absolutnim URL-jem, ki ga pričakujejo iskalniki.
Datoteka je v celoti ustvarjena v vašem brskalniku - strežniku se ne pošlje nič o strukturi vašega spletnega mesta. Upoštevajte, da datoteka robots.txt nadzoruje pajkanje, ne dostopa: poslušni roboti ji sledijo, vendar to ni varnostni mehanizem, zato uporabite preverjanje pristnosti za vse, kar je resnično zasebno.