TextArray
100% helyi

Robots.txt generátor

Készíts helyes robots.txt fájlt sablonokkal, egyéni szabályokkal, crawl-delay értékkel és sitemap hivatkozással.

Kimenet
Kapcsolódó eszközök
UTM-link generátorFejlesztői eszközökURL-ellenőrzőFejlesztői eszközökSlug generátorFejlesztői eszközök
Robots.txt generátor
Készíts szintaktikailag helyes robots.txt fájlt másodpercek alatt. Válassz sablont — minden engedélyezése, minden tiltása vagy egyéni útvonalak —, add meg a user-agentet, és a fájl máris másolható vagy letölthető robots.txt néven a webhelyed gyökerébe. A két sablon a pontos kanonikus formákat adja: az üres Disallow sort, amely mindent enged bejárni, vagy a Disallow: / sort, amely az egész webhelyet tiltja — épp ez kell egy teszt-domainre.
A user-agent mező több, vesszővel elválasztott botnevet is elfogad; mindegyik saját User-agent sorként kerül ugyanabba a csoportba. Az AI-crawlerekre vonatkozó szabályok így pillanatok alatt megírhatók: írd be, hogy GPTBot, ClaudeBot, Google-Extended, válaszd a mindent tiltó sablont, és a szabályok egyszerre érvényesek mindre. Üres mező esetén a csoport a * jellel minden robotot megcéloz.
Az egyéni útvonalak sablonnál vesszővel elválasztva sorolod fel a Disallow és Allow útvonalakat. A hiányzó kezdő perjel automatikusan pótlódik, a helyettesítő minták, mint a /*.pdf, változatlanul átmennek, az Allow sorok pedig elöl állnak, így a szélesebb tiltások alóli kivételek természetesen olvashatók. A választható Crawl-delay hozzáadja a lassítási javaslatot, amelyet például a Bing figyelembe vesz, a sitemap mező pedig a keresők által várt abszolút URL-lel illeszti be a Sitemap sort.
A fájl teljes egészében a böngésződben készül — a webhelyed szerkezetéről semmi nem jut szerverre. Ne feledd: a robots.txt a bejárást szabályozza, nem a hozzáférést. Az udvarias botok betartják, de nem biztonsági mechanizmus — ami tényleg privát, azt védd bejelentkezéssel.
Gyakori kérdések
Hogyan tiltom le az AI-crawlereket, például a GPTBotot?
Írd be a botneveket vesszővel elválasztva a user-agent mezőbe (GPTBot, ClaudeBot, Google-Extended), és válaszd a mindent tiltó sablont — mindegyik saját User-agent sort kap a Disallow: / fölött.
Hová kerüljön a kész fájl?
Mentsd robots.txt néven a domain gyökerébe, hogy a https://sajatdomain.hu/robots.txt címen legyen elérhető. A robotok csak ott keresik.
Tényleg priváttá teszi az oldalakat a robots.txt?
Nem. Ez a crawlerek udvariassági egyezménye, nem hozzáférés-szabályozás. A jól nevelt botok betartják, de ami valóban érzékeny, ahhoz bejelentkezés kell.
Minden kereső figyelembe veszi a Crawl-delay értéket?
Nem. A Bing és néhány másik betartja, a Google viszont figyelmen kívül hagyja, és a Search Console beállításait használja. A sor ettől még nem árt.
Kerül bármi szerverre?
Nem. A fájl teljes egészében a böngésződben áll össze; az útvonalaid és botlistáid soha nem hagyják el az eszközödet.