Az AI-robotok vezérlése a robots.txt segítségével

Néhány évvel ezelőtt a webhelyét keresőrobotok és kaparók hosszú farka értek el. Mára ezek nagy része nyelvi modellekhez tartozik: van, aki oldalakat gyűjt a képzéshez, van, aki élőben tölt le egy oldalt, mert egy felhasználó kérdést tett fel róla, és van, aki mindkettőt más néven teszi. A vezérlőfelület mindegyikhez ugyanaz a fájl, ami mindig is volt – /robots.txt, egy egyszerű szöveges fájl a domain gyökerében – de a mögöttes döntések újak.

A képzés, a visszakeresés és a keresés három különböző kérdés

A leggyakoribb hiba az, hogy az „AI bejárót” egyetlen dologként kezeljük. Legalább három, és a legtöbb szállító mindegyikhez külön felhasználói ügynököt futtat:

1. Képzési gyűjtemény. Egy bot, amely széles körben feltérképez, és oldalakat tárol egy jövőbeli modellhez. A blokkolása ma semmibe nem kerül, és ma semmit sem nyer – ez engedélyezési döntés, nem közlekedési döntés.
2. Élő visszakeresés. Egy olyan személy által indított lekérés a csevegőablakban, aki beillesztette az Ön URL-címét, vagy olyan kérdést tett fel, amelyre az Ön oldala válaszol. Ennek blokkolása azt jelenti, hogy az asszisztens nem tudja elolvasni Önt, nem idézhet Önt, és nem hozhatja kapcsolatba Önt.
3. Válaszmotor indexelés. Egy bejáró, amely létrehozza azt az indexet, amelyből az AI-keresési termék válaszol. A letiltása ugyanúgy eltávolítja Önt a termék találatai közül, mint egy keresőmotor blokkolása.

A kiadók egy szabály beillesztésével rutinszerűen letiltják mind a hármat, majd csodálkoznak, hogy a márkájuk miért nem jelenik meg az asszisztens válaszaiban. Döntse el kategóriánként, mielőtt sort ír.

Ki kicsoda

A naplókban ténylegesen látható nevek, és mindegyik mire való:

• GPTBot — Az OpenAI széles bejárója, amely a képzési adatgyűjtéshez kapcsolódik.
• OAI-SearchBot — OpenAI bejárója a keresési stílusú eredményekhez; a blokkolása láthatósági döntés, nem pedig edzés.
• ChatGPT-User - élő letöltés, mert egy felhasználó kérte. A kérés másik végén egy személy vár.
• ClaudeBot — Anthropic széles lánctalpas. Claude-User és Claude-SearchBot fedje le a felhasználó által kezdeményezett letöltéseket és a keresési indexelést.
• Google-Extended — egyáltalán nem lánctalpas. Ez egy token, amellyel leiratkozhat a Gemini képzésről, miközben a Googlebot folyamatosan feltérképezi a Keresést. Ennek letiltása nincs hatással a keresési rangsorolására; meg nem engedve Googlebot nagyon is igen.
• PerplexityBot — Indexelés egy válaszmotorhoz, amely soron belül hivatkozik a forrásokra.
• CCBot — Közös bejárás. Nem mesterséges intelligencia-cég, de archívuma sokuk számára képzési bemenet.
• Applebot-Extended, meta-externalagent, Amazonbot, Bytespider — ugyanaz a minta az Apple-től, a Meta-tól, az Amazon-tól és a ByteDance-től.

A szállítók rendszeresen hozzáadnak és átneveznek ügynököket, ezért minden listát – beleértve ezt is – pillanatképként kezelje. A tartós szokás a saját hozzáférési naplók olvasása: húzza ki a különböző felhasználói ügynök karakterláncokat egy nap forgalmából, és futtassa át őket a felhasználói ügynök elemző hogy megtudja, melyek a botok, melyek a böngészők, és melyek adják ki magukat böngészőknek.

A szabályok megírása

A szintaxis pontosan egy helyen változatlan és megbocsáthatatlan: mindegyik User-agent csoport a neki megfelelő robotra vonatkozik legpontosabban, és a saját nevének megfelelő bot figyelmen kívül hagyja a * csoport teljes egészében. Tehát ez nem azt csinálja, aminek látszik:

Egy csoport számára * amely nem tilt semmit, majd egy csoport következik GPTBot ami nem engedi meg /, jól működik. De ha feltérképezési késleltetést vagy webhelytérkép szabályt csak a * csoportba, és feltételezzük, hogy az elnevezett botok öröklik, de nem. Ismételjen meg mindent, ami számít az egyes csoportokban, vagy tartsa tág szabályokat.

A robots.txt generátor jelölőnégyzetekből építi fel a fájlt – válassza ki az engedélyezni vagy blokkolni kívánt ügynököket, adja hozzá a nem engedélyezett útvonalakat, és megfelelően csoportosított kimenetet ad ki a webhelytérkép sorával a végén. Ha a fájl létezik, illessze be a robots.txt tesztelő egy URL-lel és egy felhasználói ügynökkel, hogy megbizonyosodjon arról, hogy a válasz az Ön által gondolt. Itt a szokásosnál többet számít a tesztelés, mert a hiba néma: egy szabály, amely véletlenül mindent blokkol, pontosan úgy néz ki, mint egy működő szabály, amíg a forgalom egy hónappal később meg nem szűnik.

Amire a robots.txt nem képes

Három korlátot érdemes internalizálni, mielőtt a fájlra hagyatkozna:

Ez kérés, nem kerítés. A jól viselkedő bejárók tiszteletben tartják. Azok a kaparók, amelyek az Ön tartalmát akarják, figyelmen kívül hagyják, és a protokollban semmi sem akadályozza meg őket. Ha kényszerítésre van szüksége, az a kiszolgáló konfigurációjában, egy sebességkorlátozóban vagy egy WAF-szabályban található – és még akkor is illeszkedik a hamisítható felhasználói ügynök karakterláncokhoz és IP-tartományokhoz.

A Disallow nem noindex. A tiltott URL továbbra is megjelenhet a találatok között, ha más webhelyek hivatkoznak rá, mivel a robotnak azt mondják, hogy ne kérje le az oldalt, de azt nem, hogy felejtse el, hogy létezik. Ha egy oldalt szeretne egy indexből, hagyja, hogy a bejáró letöltse, és kiszolgálja a noindex metatag vagy fejléc. A robots.txt fájlban való letiltása aktívan megakadályozza, hogy a robot valaha is lássa a címkét.

Hosztonként, sémánként és portonként. https://example.com/robots.txt csak az eredetet szabályozza – nem www., nem az átmeneti aldomain, nem a képeket kiszolgáló CDN-állomásnév. Minden hosztnak, amely válaszol a kérésekre, saját fájlra van szüksége.

Irányítsa a bejárókat arra, amit indexelni szeretne

A fájl másik fele meghívás, nem kizárás. A Sitemap: sor minden feltérképező robot számára egyértelmű listát ad a gyűjtő URL-címekről és azok utolsó módosítási dátumairól, ami a legolcsóbb módja az új oldalak felfedezésének – a oldaltérkép generátor az URL-ek listáját érvényes XML-lé alakítja, amelyet a robots fájl mellé tölthet fel. A kettő következetes legyen: a webhelytérképben megjelenő URL, miközben a robots.txt fájlban nem engedélyezett, olyan ellentmondás, amely hibaként jelenik meg minden jelentéskészítő eszközben, amely mindkettőt olvassa.

Azt is láthatod llms.txt kísérőfájlként javasolt – egy markdown összefoglaló egy webhelyről, amely inkább modelleket céloz meg, mint bejárókat. Ez egy egyezmény, nem szabvány, és egyetlen nagyobb gyártó sem kezeli irányelvként. Az egyik hozzáadása ártalmatlan; rá támaszkodni az irányításra nem.

Ésszerű alapértelmezés

Ha tartalmat tesz közzé, és el szeretné érni, a legtöbb webhely a következő beállításokkal rendelkezik: engedélyezze az élő visszakeresést és a válaszmotor-feltérképező robotokat, hogy az asszisztensek megtalálhassák és hivatkozhassanak Önre, blokkolja vagy engedélyezze a tömeges betanítási robotokat aszerint, hogy Ön hogyan vélekedik az adott kereskedésről, soha ne érintse meg Googlebot vagy Bingbot hacsak nem tudja pontosan, miért, és tartson egy webhelytérkép-vonalat, amely egy aktuális fájlra mutat. Ha fizetőfal mögött publikál, vagy licenceket ad el az archívumnak, akkor a számítás megfordítja és blokkolja a széles bejárókat.

Akárhogy is, írja meg szándékosan, tesztelje valódi felhasználói ügynök karakterláncokkal, és ellenőrizze újra, amikor egy szállító új botot jelent be. A generátor és a tesztelő is teljes egészében a böngészőben fut – a robotfájl, az URL-címek és a naplósorok soha nem hagyják el az oldalt.