Generator Robots.txt
Creați un fișier robots.txt corect cu setări prestabilite, reguli personalizate, întârziere de accesare cu crawlere și un link către un sitemap.
Generator Robots.txt
Generați un robots.txt corect din punct de vedere sintactic în câteva secunde. Alegeți o presetare - permiteți totul, interziceți totul sau căi personalizate - setați user-agent, iar fișierul va apărea gata pentru a fi copiat sau descărcat ca robots.txt pentru rădăcina site-ului dvs. Cele două presetări produc exact formele canonice: o linie goală Disallow, care permite toate accesările cu crawlere, sau Disallow: / care blochează întregul site, ceea ce doriți pe un domeniu intermediar.
Câmpul user-agent acceptă mai multe nume de bot separate prin virgule, fiecare emis ca propria linie User-agent în același grup. Acest lucru face ca politicile de crawler AI să fie rapid de scris: introduceți GPTBot, ClaudeBot, Google-Extended, alegeți presetarea interzicere a tuturor, iar regulile se aplică tuturor acestora. Lăsați câmpul gol și grupul vizează fiecare crawler cu *.
Cu presetarea personalizată, listați căile Disallow și Allow separate prin virgule. O bară oblică principală lipsă este adăugată automat, metacaracterele precum /*.pdf trec neschimbate, iar liniile Permiteți sunt pe primul loc, astfel încât excepțiile de la blocurile mai largi se citesc în mod natural. O întârziere opțională a accesului cu crawlere adaugă indicația de accelerare a unor aplicații cu crawlere, cum ar fi respectul Bing, iar câmpul Sitemap adaugă o linie Sitemap cu adresa URL absolută așteptată de motoarele de căutare.
Fișierul este generat în întregime în browser - nimic din structura site-ului dvs. nu este trimis la un server. Rețineți că robots.txt controlează accesul cu crawlere, nu accesul: roboții ascultători îl urmează, dar nu este un mecanism de securitate, așa că utilizați autentificarea pentru orice lucru cu adevărat privat.