Robots.txt a trenowanie AI. Nowy wpis, który uszanują OpenAI, Google, Microsoft i Anthropic

Robots.txt a trenowanie AI. Nowy wpis, który uszanują OpenAI, Google, Microsoft i Anthropic

Nowa linijka w robots.txt, __usage_ai-training, pozwala jednym wpisem zablokować trenowanie AI na treściach Twojej strony u kilku firm naraz. 30 października 2026 OpenAI, Google, Microsoft i Anthropic zapowiedziały, że będą ją respektować. Dla większości firmowych stron blokowanie nie ma jednak sensu, bo zależy im na tym, żeby AI o nich wiedziało. Wyjątkiem są wydawcy i twórcy, dla których treść jest produktem.

Jak wygląda ten wpis w praktyce?

Bardzo prosto. W pliku robots.txt w katalogu głównym domeny dodajesz:

User-Agent: __usage_ai-training
Disallow: /

To zablokuje wykorzystanie całej strony do trenowania modeli. Jeśli chcesz zostawić wybrane sekcje, dopisujesz wyjątki liniami Allow:, na przykład dla bloga, a zablokować chcesz tylko płatne poradniki.

Nazwa zaczyna się od dwóch podkreślników celowo. To nie jest nazwa żadnego konkretnego robota, tylko tak zwany token zastosowania (usage token). Mówi nie „kto może wejść”, ale „do czego wolno użyć treści”.

Kto i kiedy zacznie to respektować?

Terminy są różne:

Firma Kiedy Uwagi
Anthropic już wdraża autor propozycji
OpenAI „w najbliższych miesiącach” nazywa to mechanizmem koordynacji, a nie zabezpieczeniem
Microsoft 1 lutego 2027 planuje osobne ustawienie dla pobierania treści do odpowiedzi na żywo
Google w 2027 roku wpis będzie traktowany jak blokada Google-Extended

Formalnie to na razie indywidualny projekt standardu w IETF (Internet-Draft), przygotowany przez Kevina Kelleya z Anthropic. Nie jest to jeszcze oficjalny standard, ale skoro podpisały się pod nim cztery największe firmy, praktycznie zaczyna nim być.

Webmaster przy dwóch monitorach edytuje ustawienia strony
Zmiany w robots.txt najlepiej od razu sprawdzić w Search Console

Czego ten wpis NIE robi?

Tu jest najwięcej nieporozumień, więc po kolei.

Nie blokuje wchodzenia robotów na stronę. Token dotyczy trenowania, nie pobierania. Boty dalej mogą stronę odwiedzić, na przykład żeby odpowiedzieć na pytanie użytkownika w czasie rzeczywistym.

Nie usuwa treści, które już są w modelach. Jeśli Twoja strona trafiła do danych treningowych rok temu, nowy wpis tego nie cofnie.

Nie chroni przed nieuczciwymi botami. Robots.txt to prośba, nie zamek. Scraper, który nie przestrzega zasad, po prostu go zignoruje. OpenAI mówi wprost, że to mechanizm koordynacji, a nie kontrola bezpieczeństwa.

I nie wpływa na zwykłe pozycje w Google. Google-Extended, z którym Google zrówna nowy token, od początku jest opisywany jako ustawienie niezwiązane z rankingiem w wyszukiwarce.

Robots.txt a AI Overviews: co z widocznością w odpowiedziach AI?

To najważniejsze pytanie dla każdego, kto zarabia na ruchu z Google.

AI Overviews i AI Mode korzystają z indeksu wyszukiwarki, który buduje zwykły Googlebot. Blokada Google-Extended, a w przyszłości nowego tokenu, dotyczy trenowania modeli Gemini i części innych zastosowań, ale nie wyrzuca strony z wyszukiwarki ani z podsumowań AI opartych na wynikach wyszukiwania.

Google w październiku przypomniał zresztą w materiale wideo, że robots.txt w ogóle reguluje tylko indeksowanie (crawling), a nie to, jak treść jest później wykorzystywana. Żeby nie pojawiać się w AI Overviews, trzeba by sięgnąć po narzędzia, które ograniczają też zwykłe wyniki, na przykład nosnippet. To bardzo kosztowny wybór.

Microsoft idzie inną drogą i zapowiada osobne ustawienie dla tzw. groundingu, czyli pobierania treści na żywo do odpowiedzi czatu. Czy inni pójdą tym tropem, na razie nie wiadomo.

Które boty AI odwiedzają strony i po co?

Nowy token nie zastępuje blokad poszczególnych robotów. Firmy AI mają po kilka botów, a każdy robi co innego. Najczęściej spotykane:

Bot Firma Do czego służy
GPTBot OpenAI zbieranie danych do trenowania modeli
OAI-SearchBot OpenAI indeks do wyszukiwania w ChatGPT
ChatGPT-User OpenAI wejście na stronę na prośbę użytkownika
ClaudeBot Anthropic zbieranie danych do trenowania modeli
Google-Extended Google nie bot, tylko ustawienie zgody na użycie treści w Gemini
PerplexityBot Perplexity indeks do wyszukiwarki Perplexity
CCBot Common Crawl publiczne archiwum sieci, z którego korzysta wiele firm AI

Widać tu ważne rozróżnienie. Zablokowanie GPTBota nie usuwa strony z wyszukiwania w ChatGPT, bo za to odpowiada OAI-SearchBot. Z kolei zablokowanie OAI-SearchBota sprawi, że ChatGPT przestanie pokazywać stronę w wynikach wyszukiwania. Dla sklepu czy firmy usługowej to zwykle strzał w kolano.

Przykładowy robots.txt dla firmowej strony na WordPressie

Wariant „chcę być widoczny w AI, ale moje płatne materiały nie mają trafiać do trenowania”:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-Agent: __usage_ai-training
Disallow: /materialy-premium/

Sitemap: https://twojadomena.pl/sitemap_index.xml

Wszystkie roboty widzą stronę normalnie, panel administracyjny jest zamknięty, a do trenowania AI nie trafia tylko katalog z płatnymi treściami. Adres mapy strony podmień na swój. Przy Yoast SEO to zwykle sitemap_index.xml, a przy samym WordPressie wp-sitemap.xml.

Po każdej zmianie sprawdź plik w raporcie robots.txt w Google Search Console. Jedna literówka w Disallow potrafi zablokować pół serwisu.

Kiedy blokada ma sens, a kiedy szkodzi?

Zależy, na czym zarabiasz.

Sens ma u wydawców i twórców, dla których tekst, zdjęcie czy kurs to produkt. Portale z płatnymi treściami, autorzy poradników, serwisy z unikalnymi bazami danych. Dla nich trenowanie modeli na ich pracy oznacza, że AI odpowiada za nich, a oni nic z tego nie mają.

Szkodzi raczej firmom usługowym i sklepom. Jeśli prowadzisz warsztat, sklep z meblami ogrodowymi albo biuro rachunkowe, chcesz, żeby model wiedział, że istniejesz i czym się zajmujesz. Wiedza zapisana w modelu to część tej rozpoznawalności, o której pisaliśmy przy temacie widoczności małych firm w AI. Blokując trenowanie, rezygnujesz z kawałka obecności w odpowiedziach, które model daje bez wyszukiwania.

Jest też wariant pośredni: blokujesz tylko wybrane katalogi, na przykład materiały do pobrania czy część z płatną wiedzą, a stronę ofertową i blog zostawiasz otwarte.

Dlaczego firmy AI w ogóle się na to zgodziły?

Bo presja rośnie z kilku stron naraz. Wydawcy od dawna skarżą się, że modele uczą się na ich treściach bez zgody i bez wynagrodzenia. Coraz więcej dużych serwisów blokuje boty AI hurtowo, co utrudnia firmom dostęp do świeżych danych. Do tego dochodzą regulacje, w Unii Europejskiej m.in. przepisy o eksploracji tekstów i danych oraz AI Act, które wymagają respektowania zastrzeżeń właścicieli treści.

Wspólny token jest dla firm AI wygodniejszy niż kilkanaście różnych mechanizmów. Wydawca nie musi znać nazw wszystkich botów, a firma AI ma jeden, prosty do sprawdzenia sygnał. Każda z czterech firm wdraża to jednak po swojemu, więc w praktyce przez najbliższy rok trzeba będzie śledzić, kto co faktycznie respektuje.

Jak to się ma do wcześniejszych blokad?

Dotychczas, żeby ograniczyć trenowanie, trzeba było blokować każdego bota osobno. Typowy fragment robots.txt wyglądał tak:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Te wpisy dalej działają i nic nie trzeba z nimi robić. Nowy token ich nie unieważnia, tylko dokłada jeden wspólny sygnał. Jeśli masz już takie blokady, a chcesz być konsekwentny, możesz dopisać token i zostawić stare reguły jako zabezpieczenie dla botów, które jeszcze go nie obsługują.

Tylko uwaga na pułapkę: nie blokuj przy okazji robotów wyszukujących (OAI-SearchBot, PerplexityBot), jeśli zależy Ci na ruchu z ChatGPT i Perplexity.

Jak sprawdzić, co dziś jest w Twoim robots.txt?

Wpisz w przeglądarce twojadomena.pl/robots.txt. Zobaczysz aktualne reguły.

Zwróć uwagę na trzy rzeczy:

  • czy nie ma tam przypadkowych blokad z czasów budowy strony (klasyczne Disallow: / dla wszystkich robotów, które ktoś zapomniał usunąć);
  • czy wtyczki WordPressa nie dopisały czegoś same, niektóre wtyczki SEO i bezpieczeństwa mają opcje blokowania botów AI;
  • czy blokujesz konkretne boty AI (GPTBot, ClaudeBot, Google-Extended, CCBot) i czy to jest świadoma decyzja.

Przy okazji pamiętaj o rzeczy, którą Google przypomniał w październiku w przewodniku o spamie: adres zablokowany w robots.txt nadal może trafić do indeksu. Jeśli coś ma zniknąć z wyników, potrzebny jest znacznik noindex, a strona nie może być jednocześnie zablokowana w robots.txt, bo robot nie zobaczy tego znacznika.

Blokować czy nie? Szybki test

Odpowiedz sobie na kilka pytań. Im więcej odpowiedzi „tak”, tym bardziej blokada trenowania ma sens:

  1. Czy zarabiasz bezpośrednio na treści (subskrypcje, reklamy przy artykułach, płatne kursy)?
  2. Czy masz unikalne dane, których nie ma nikt inny (bazy, zestawienia, wyniki badań)?
  3. Czy zdarzyło Ci się zobaczyć swoje sformułowania w odpowiedziach AI bez podania źródła?
  4. Czy ruch z wyszukiwarek jest dla Ciebie mniej ważny niż ochrona treści?

Jeśli na wszystkie odpowiadasz „nie”, a strona służy do pozyskiwania klientów na usługi lub produkty, zostaw trenowanie otwarte. Na tym etapie więcej zyskasz na tym, że AI zna Twoją firmę, niż stracisz na tym, że uczy się na opisie Twojej oferty.

I jeszcze jedna rzecz: decyzję da się zmienić. Wpis w robots.txt można dodać lub usunąć w każdej chwili. Nie cofnie on tylko tego, co już trafiło do modeli.

A jeśli strona stoi na hostingu z Cloudflare?

Cloudflare od dłuższego czasu ma własne ustawienia dla botów AI, w tym opcję ich blokowania jednym kliknięciem. Jeśli ktoś kiedyś to włączył, robots.txt może mówić jedno, a serwer robić drugie. Przy porządkowaniu zasad sprawdź więc także panel Cloudflare, zakładkę dotyczącą botów, i upewnij się, że nie blokujesz tam robotów wyszukujących, na których Ci zależy. Podobne opcje mają niektóre wtyczki bezpieczeństwa do WordPressa, więc przejrzyj też ich ustawienia.

Co z innymi firmami AI?

Token ogłosiły cztery firmy. Inni dostawcy modeli mogą go respektować albo nie. Dlatego część wydawców łączy kilka metod: token, blokady konkretnych botów po nazwie, a przy większych serwisach także zabezpieczenia na poziomie serwera, na przykład reguły w Cloudflare, które blokują ruch od znanych scraperów.

Równolegle Meta przesunęła na 20 listopada wejście nowych warunków dla firm, po skargach do regulatorów w UE i Wielkiej Brytanii. Zasady pobierania treści z sieci przez Metę się przy tym nie zmieniły. Temat praw do treści i AI będzie więc wracał jeszcze długo.

Nowy token w robots.txt w trzech pytaniach

Czy wpis __usage_ai-training obniży pozycje w Google?

Nie. Google będzie go traktował jak blokadę Google-Extended, która nie wpływa na ranking w wyszukiwarce.

Czy po dodaniu wpisu strona zniknie z ChatGPT?

Nie. Token blokuje trenowanie, a nie pobieranie strony do odpowiedzi na żywo. Treści, które już są w modelu, też zostają.

Od kiedy wpis zacznie działać?

Anthropic już go wdraża, Microsoft od 1 lutego 2027, Google w 2027 roku, a OpenAI zapowiada wdrożenie w najbliższych miesiącach.

Przewijanie do góry