Jak ovládat prohledávače AI pomocí robots.txt

Před několika lety byly prohledávače, které zasáhly vaše stránky, vyhledávače a dlouhý ocas škrabek. Nyní velká část z nich patří k jazykovým modelům: některé shromažďují stránky, na kterých se mohou trénovat, některé načítají stránku živě, protože se na ni uživatel zeptal, a někteří dělají obojí pod různými názvy. Ovládací plocha pro všechny z nich je stejný soubor, jaký byl vždy — /robots.txt, prostý textový soubor v kořenovém adresáři vaší domény – ale rozhodnutí za ním jsou nová.

Školení, vyhledávání a vyhledávání jsou tři různé otázky

Nejčastější chybou je považovat „AI crawler“ za jednu věc. Jsou alespoň tři a většina dodavatelů provozuje pro každého samostatného uživatelského agenta:

1. Školení kolekce. Robot, který široce prochází a ukládá stránky pro budoucí model. Zablokování vás dnes nic nestojí a nic vám dnes nezíská – jde o rozhodnutí o udělení licence, nikoli o dopravní rozhodnutí.
2. Živé vyhledávání. Načtení spuštěné osobou v okně chatu, která vložila vaši adresu URL nebo položila otázku, na kterou vaše stránka odpovídá. Pokud toto zablokujete, asistent vás nemůže číst, nemůže vás citovat a nemůže vás propojit.
3. Indexování odpovědního stroje. Prolézací modul, který vytváří index, ze kterého odpovídá vyhledávací produkt AI. Zablokování vás odebere z výsledků daného produktu stejným způsobem, jako byste zablokovali vyhledávač.

Vydavatelé běžně blokují všechny tři vložením jednoho pravidla a pak se diví, proč se jejich značka přestala objevovat v odpovědích asistenta. Než napíšete řádek, rozhodněte se podle kategorie.

kdo je kdo

Jména, která skutečně uvidíte ve svých protokolech, a k čemu každý z nich slouží:

• GPTBot — Široký prolézací modul OpenAI spojený se sběrem trénovacích dat.
• OAI-SearchBot — Prohledávač OpenAI pro výsledky ve stylu vyhledávání; jeho zablokování je rozhodnutím o viditelnosti, nikoli tréninkem.
• ChatGPT-User — živé načtení provedené, protože uživatel požádal. Na druhém konci této žádosti čeká osoba.
• ClaudeBot — Antropický široký prolézač. Claude-User a Claude-SearchBot pokrýt uživatelem iniciované načítání a indexování vyhledávání.
• Google-Extended — vůbec ne prolézací stroj. Jedná se o token, který vám umožní odhlásit se ze školení Gemini, zatímco Googlebot bude neustále procházet a hledat. Pokud to nepovolíte, neovlivní to vaše hodnocení ve vyhledávání; neumožňující Googlebot hodně dělá.
• PerplexityBot — indexování pro modul odpovědí, který cituje zdroje vložené.
• CCBot — Společné plazení. Nejedná se o společnost zabývající se umělou inteligencí, ale její archiv je pro mnohé z nich školicím vstupem.
• Applebot-Extended, meta-externalagent, Amazonbot, Bytespider — stejný vzor od Apple, Meta, Amazon a ByteDance.

Dodavatelé agenty pravidelně přidávají a přejmenovávají, takže každý seznam – včetně tohoto – považujte za snímek. Trvalým zvykem je číst své vlastní přístupové protokoly: vytáhněte různé řetězce user-agent z jednoho dne provozu a proveďte je přes parser uživatelského agenta abyste viděli, kteří jsou roboti, kteří prohlížeče a kteří se za prohlížeče vydávají.

Psaní pravidel

Syntaxe je nezměněna a nemilosrdná přesně na jednom místě: na každém User-agent skupina se vztahuje na robota, který jí odpovídá nejkonkrétnějia robot, který odpovídá jeho vlastnímu názvu, ignoruje * skupina úplně. Takže to nedělá to, jak to vypadá:

Skupina pro * že nic nepovoluje, následuje skupina pro GPTBot to nedovoluje /, funguje dobře. Ale pokud vložíte pravidlo zpoždění procházení nebo soubor Sitemap pouze do * skupinu a předpokládají, že ji zdědí pojmenovaní roboti, ne. Opakujte vše, na čem záleží v každé skupině, nebo ponechte svá pravidla široká.

The generátor robots.txt sestaví soubor ze zaškrtávacích políček – vyberte agenty, které chcete povolit nebo zablokovat, přidejte nepovolené cesty a vygeneruje správně seskupený výstup s řádkem mapy webu na konci. Jakmile soubor existuje, vložte jej do tester souborů robots.txt s adresou URL a uživatelským agentem, který potvrdí, že odpověď je ta, kterou jste měli na mysli. Testování je zde důležitější než obvykle, protože selhání je tiché: pravidlo, které náhodně blokuje vše, vypadá přesně jako pravidlo, které funguje, dokud provoz o měsíc později nezmizí.

Co robots.txt neumí

Než se budete spoléhat na soubor, stojí za to internalizovat tři limity:

Je to žádost, ne plot. Dobře vychovaní prolézači to ctí. Škrabky, které chtějí váš obsah, ho ignorují a nic v protokolu je nezastaví. Pokud potřebujete vynucení, je to v konfiguraci vašeho serveru, omezovač rychlosti nebo pravidlo WAF – a dokonce i tehdy se shodujete s řetězci uživatelských agentů a rozsahy IP, které lze zfalšovat.

Disallow není noindex. Nepovolená adresa URL se stále může objevit ve výsledcích, pokud na ni odkazují jiné weby, protože prohledávači je řečeno, aby stránku nenačítal, ale není mu řečeno, aby zapomněl, že existuje. Pokud chcete, aby byla stránka vyjmuta z indexu, nechte prohledávač, aby ji načetl a poskytl a noindex meta tag nebo záhlaví. Blokování v souboru robots.txt aktivně brání prohledávači, aby tuto značku vůbec viděl.

Platí pro hostitele, schéma a port. https://example.com/robots.txt řídí pouze tento původ – ne www., nikoli pracovní subdoménu, nikoli název hostitele CDN obsluhující vaše obrázky. Každý hostitel, který odpovídá na požadavky, potřebuje svůj vlastní soubor.

Nasměrujte prohledávače na to, co chcete indexovat

Druhá polovina souboru je pozvánka, ne vyloučení. A Sitemap: řádek poskytuje každému prohledávači explicitní seznam vašich kanonických adres URL a jejich dat poslední úpravy, což je nejlevnější způsob, jak objevit nové stránky – generátor sitemap změní seznam adres URL na platný XML, který můžete nahrát spolu se souborem robots. Zachovejte obě konzistentní: adresa URL, která se zobrazuje ve vašem souboru Sitemap, ale není povolena v souboru robots.txt, je rozpor, který se zobrazuje jako chyba v každém nástroji pro vytváření přehledů, který čte obojí.

Můžete také vidět llms.txt navržený jako doprovodný soubor – markdown shrnutí webu zaměřeného spíše na modely než prohledávače. Je to konvence, nikoli standard, a žádný velký prodejce to nepovažuje za směrnici. Přidání jednoho je neškodné; spoléhat se na to při kontrole není.

Rozumná výchozí hodnota

Pokud publikujete obsah a chcete oslovit, nastavení většiny webů je: povolit živé vyhledávání a prohledávače odpovědí, aby vás asistenti mohli najít a citovat, blokovat nebo povolit hromadné trénovací prohledávače podle toho, jak se na tento obchod cítíte, nikdy se nedotýkejte Googlebot nebo Bingbot pokud přesně nevíte proč, a ponechte si čáru mapy webu ukazující na aktuální soubor. Pokud publikujete za paywall nebo prodáváte licence do svého archivu, výpočet se obrátí a zablokuje široké prohledávače.

Ať tak či onak, napište jej záměrně, otestujte jej proti skutečným řetězcům uživatelského agenta a znovu jej zkontrolujte, kdykoli dodavatel oznámí nového robota. Generátor i tester běží výhradně ve vašem prohlížeči – váš soubor robots, vaše adresy URL a řádky protokolu nikdy neopustí stránku.