Jak kontrolować roboty AI za pomocą pliku robots.txt

Kilka lat temu robotami trafiającymi na Twoją witrynę były wyszukiwarki i długi ogon skrobaków. Obecnie duża część z nich należy do modeli językowych: niektórzy zbierają strony do trenowania, inni pobierają stronę na żywo, ponieważ użytkownik zadał pytanie na jej temat, a jeszcze inni robią jedno i drugie pod różnymi nazwami. Powierzchnią sterującą dla nich wszystkich jest ten sam plik, co zawsze — /robots.txt, zwykły plik tekstowy w katalogu głównym Twojej domeny – ale decyzje, które za nim stoją, są nowe.

Szkolenie, odzyskiwanie i przeszukiwanie to trzy różne zadania

Najczęstszym błędem jest traktowanie „robota AI” jako jednej rzeczy. Jest ich co najmniej trzy, a większość dostawców uruchamia dla każdego osobnego klienta użytkownika:

1. Kolekcja szkoleniowa. Bot, który szeroko indeksuje i przechowuje strony dla przyszłego modelu. Zablokowanie nic Cię dzisiaj nie kosztuje i nic dzisiaj nie daje — jest to decyzja dotycząca licencji, a nie decyzja o ruchu drogowym.
2. Odzyskiwanie na żywo. Pobieranie wywołane przez osobę w oknie czatu, która wkleiła Twój adres URL lub zadała pytanie, na które odpowiada Twoja strona. Zablokowanie oznacza, że asystent nie może Cię odczytać, zacytować ani połączyć.
3. Indeksowanie automatycznej sekretarki. Robot, który tworzy indeks, na podstawie którego odpowiada produkt wyszukiwania AI. Zablokowanie powoduje usunięcie Cię z wyników tego produktu w taki sam sposób, jak zablokowanie wyszukiwarki.

Wydawcy rutynowo blokują wszystkie trzy, wklejając jedną regułę, a następnie zastanawiają się, dlaczego ich marka przestała pojawiać się w odpowiedziach asystentów. Zdecyduj o kategorii, zanim napiszesz wiersz.

Kto jest kim

Nazwy, które faktycznie zobaczysz w swoich dziennikach, i do czego każda z nich służy:

• GPTBot — Szeroki przeszukiwacz OpenAI, związany z gromadzeniem danych szkoleniowych.
• OAI-SearchBot — Przeszukiwacz OpenAI do wyszukiwania wyników w stylu wyszukiwania; blokowanie jest decyzją o widoczności, a nie szkoleniową.
• ChatGPT-User — pobieranie na żywo wykonane, ponieważ użytkownik o to zapytał. Po drugiej stronie tej prośby czeka osoba.
• ClaudeBot — Szeroki pełzacz Anthropic. Claude-User I Claude-SearchBot obejmują pobieranie inicjowane przez użytkownika i indeksowanie wyszukiwania.
• Google-Extended — wcale nie jest robotem. Jest to token, dzięki któremu możesz zrezygnować ze szkolenia Gemini, podczas gdy Googlebot będzie kontynuował wyszukiwanie. Zakazanie tej opcji nie ma wpływu na Twój ranking wyszukiwania; zabranianie Googlebot bardzo to robi.
• PerplexityBot — indeksowanie dla mechanizmu odpowiedzi, który cytuje źródła w tekście.
• CCBot — Wspólne pełzanie. Nie jest to firma zajmująca się sztuczną inteligencją, ale jej archiwum stanowi dla wielu z nich materiał szkoleniowy.
• Applebot-Extended, meta-externalagent, Amazonbot, Bytespider — ten sam wzór od Apple, Meta, Amazon i ByteDance.

Dostawcy regularnie dodają agentów i zmieniają ich nazwy, dlatego każdą listę – łącznie z tą – traktuj jako migawkę. Trwałym nawykiem jest czytanie własnych dzienników dostępu: pobierz odrębne ciągi agenta użytkownika z dnia ruchu i przepuść je przez analizator agenta użytkownika aby zobaczyć, które są botami, które przeglądarkami, a które udają przeglądarki.

Pisanie zasad

Składnia jest niezmieniona i bezlitosna dokładnie w jednym miejscu: w każdym User-agent grupa dotyczy bota, który do niej pasuje najbardziej konkretnie, a bot pasujący do jego własnej nazwy ignoruje * całkowicie grupę. Więc to nie działa tak, jak wygląda:

Grupa dla * która niczego nie zabrania, po której następuje grupa for GPTBot to nie pozwala /, działa dobrze. Ale jeśli umieścisz opóźnienie indeksowania lub regułę mapy witryny tylko w pliku * group i załóżmy, że nazwane boty ją dziedziczą, ale tak nie jest. Powtórz wszystko, co ma znaczenie w każdej grupie lub zachowaj szerokie zasady.

The generator pliku robots.txt buduje plik z pól wyboru — wybierz agentów, którym chcesz zezwolić lub zablokować, dodaj niedozwolone ścieżki, a na końcu wyemituje poprawnie pogrupowane dane wyjściowe z linią mapy witryny. Gdy plik istnieje, wklej go do tester pliku robots.txt z adresem URL i agentem użytkownika, aby potwierdzić, że odpowiedź jest tą, którą miałeś na myśli. Testowanie ma tutaj większe znaczenie niż zwykle, ponieważ awaria jest cicha: reguła, która przypadkowo blokuje wszystko, wygląda dokładnie tak samo, jak reguła, która działa, dopóki ruch nie zniknie miesiąc później.

Czego nie może zrobić plik robots.txt

Zanim zaczniesz polegać na pliku, warto poznać trzy ograniczenia:

To prośba, a nie ogrodzenie. Dobrze wychowane pełzacze to honorują. Scrapery, które chcą Twoich treści, ignorują je i nic w protokole ich nie powstrzymuje. Jeśli potrzebujesz wymuszenia, które jest zapisane w konfiguracji serwera, ograniczniku szybkości lub regule WAF – i nawet wtedy dopasowujesz ciągi agentów użytkownika i zakresy adresów IP, które można sfałszować.

Disallow nie jest noindexem. Niedozwolony adres URL może nadal pojawiać się w wynikach, jeśli inne witryny prowadzą do niego łącza, ponieważ robot ma polecenie, aby nie pobierał strony, ale nie ma zapomnieć o jej istnieniu. Jeśli chcesz, aby strona została usunięta z indeksu, pozwól robotowi ją pobrać i udostępnić noindex metatag lub nagłówek. Blokowanie w pliku robots.txt aktywnie uniemożliwia robotowi zobaczenie tego tagu.

Jest to zależne od hosta, schematu i portu. https://example.com/robots.txt reguluje tylko to pochodzenie – nie www., a nie subdomena przejściowa, a nie nazwa hosta CDN obsługującego obrazy. Każdy host, który odpowiada na żądania, potrzebuje własnego pliku.

Wskaż robotom to, co chcesz zaindeksować

Druga połowa pliku to zaproszenie, a nie wykluczenie. A Sitemap: zapewnia każdemu robotowi przejrzystą listę kanonicznych adresów URL i dat ich ostatniej modyfikacji, co jest najtańszym sposobem na znalezienie nowych stron — generator mapy witryny zamienia listę adresów URL na prawidłowy plik XML, który można przesłać wraz z plikiem robots. Zachowaj spójność obu elementów: adres URL pojawiający się w mapie witryny, a niedozwolony w pliku robots.txt, to sprzeczność, która pojawia się jako błąd w każdym narzędziu raportowania, które odczytuje oba.

Możesz także zobaczyć llms.txt zaproponowane jako plik towarzyszący — podsumowanie markdown witryny przeznaczonej raczej dla modeli niż robotów indeksujących. Jest to konwencja, a nie standard i żaden większy dostawca nie traktuje jej jako dyrektywy. Dodanie jednego jest nieszkodliwe; poleganie na nim w zakresie kontroli nie jest.

Rozsądna domyślność

Jeśli publikujesz treści i chcesz osiągnąć zasięg, konfiguracja, na której opiera się większość witryn, jest następująca: zezwalaj na pobieranie na żywo i roboty indeksujące, aby asystenci mogli Cię znaleźć i cytować, blokuj lub zezwalaj robotom na zbiorcze szkolenie w zależności od tego, co myślisz o tej branży, nigdy nie dotykaj Googlebot Lub Bingbot chyba że wiesz dokładnie dlaczego i zachowaj linię mapy witryny wskazującą na bieżący plik. Jeśli publikujesz za paywallem lub sprzedajesz licencje do swojego archiwum, obliczenia odwracają się i chodzi o zablokowanie szerokich robotów.

Tak czy inaczej, napisz to celowo, przetestuj na rzeczywistych ciągach agenta użytkownika i sprawdź ponownie za każdym razem, gdy dostawca ogłosi nowego bota. Zarówno generator, jak i tester działają całkowicie w przeglądarce — plik robots, adresy URL i linie dziennika nigdy nie opuszczają strony.