CodeKitHubCzym jest to narzędzie?
Plik robots.txt to plik tekstowy znajdujący się w katalogu głównym witryny, który informuje roboty indeksujące, do których części witryny mają dostęp, a do których nie. Wyszukiwarki takie jak Google i Bing uwzględniają go podczas indeksowania; w 2026 r. jest to również standardowy sposób, w jaki witryny rezygnują z wykorzystywania ich treści do szkolenia modeli sztucznej inteligencji, poprzez określenie konkretnych nazw botów, takich jak GPTBot, CCBot i Google-Extended.
Bardzo ważne jest, aby składnia była dokładnie poprawna — błędna ścieżka w regule „Disallow” może przypadkowo zablokować wyszukiwarkom dostęp do całej witryny, a nieprawidłowo umieszczona reguła blokująca sztuczną inteligencję może w rzeczywistości nie zablokować niczego. Ten generator tworzy poprawnie skonstruowane reguły dla każdego scenariusza.
Dlaczego warto go używać?
- Specjalne ustawienie blokujące roboty indeksujące oparte na sztucznej inteligencji, obejmujące GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider i anthropic-ai — przy jednoczesnym wyraźnym zachowaniu dostępu dla wyszukiwarek.
- Należy zdefiniować niestandardowe ścieżki, do których dostęp ma być zablokowany, aby ukryć treści przed wszystkimi robotami indeksującymi.
- Pole „Adres URL w mapie witryny” — niewielki dodatek, który pomaga wyszukiwarkom szybciej znaleźć Twoje strony.
- Zawsze poprawna składnia — nie ma ryzyka, że przypadkowa literówka zablokuje całą witrynę.
- Bezpłatnie i natychmiast – pobierz plik bezpośrednio lub skopiuj tekst.
Jak używać
- Wybierz ustawienie: zezwól na wszystko, zablokuj wszystko lub zablokuj tylko roboty indeksujące oparte na sztucznej inteligencji.
- Opcjonalnie można dodać własne ścieżki, których dostęp ma być zablokowany, po jednej w każdym wierszu (np. /admin/).
- Opcjonalnie możesz podać adres URL mapy witryny.
- Kliknij „Kopiuj” lub „Pobierz”, a następnie umieść plik w katalogu głównym swojej witryny pod nazwą /robots.txt.
Przykład
Wejście
Preset: Block AI crawlers, keep search engines. Sitemap: https://example.com/sitemap.xmlWynik
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlKażdy robot indeksujący oparty na sztucznej inteligencji otrzymuje własny, wyraźnie określony blok, natomiast reguła z symbolem wieloznacznym na końcu zapewnia swobodny dostęp dla zwykłych wyszukiwarek.
Czy warto zablokować ten robot indeksujący?
Nie wszystkie boty służą temu samemu celowi — zablokowanie niewłaściwego z nich może spowodować utratę ruchu z wyszukiwarek, zamiast jedynie wyłączyć udział w szkoleniu sztucznej inteligencji.
| Robot indeksujący | Jak to działa | Zablokuj to, jeśli… |
|---|---|---|
| Googlebot, Bingbot | Indeksuje Twoją witrynę na potrzeby wyników wyszukiwania | Nigdy — zablokowanie tych stron spowoduje całkowite usunięcie Twojej witryny z wyników wyszukiwania Google i Bing. |
| GPTBot, użytkownik ChatGPT | Roboty indeksujące OpenAI — GPTBot trenuje modele, a ChatGPT-User pobiera strony, o których przeglądanie użytkownik poprosił ChatGPT | Nie chcesz, aby Twoje treści były wykorzystywane do szkolenia sztucznej inteligencji, ale pamiętaj, że przeglądanie przez użytkownika ChatGPT strony, do której link zamieścił inny użytkownik, to odrębny przypadek, na który niektóre witryny decydują się zezwolić. |
| Google – rozszerzone | Określa, czy Google wykorzystuje Twoje treści do szkolenia modeli Gemini/AI — niezależnie od indeksowania wyników wyszukiwania przez Googlebota | Chcesz pozostać w wyszukiwarce Google, ale nie chcesz, aby Twoje dane były wykorzystywane do szkolenia sztucznej inteligencji Google — ta instrukcja pozwala to osiągnąć bez negatywnego wpływu na pozycję w wynikach wyszukiwania. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (zasilający wiele zbiorów danych dla sztucznej inteligencji), ByteDance, roboty indeksujące firmy Anthropic | To samo uzasadnienie co w przypadku GPTBota — zablokuj, jeśli nie chcesz, aby dana treść znalazła się w zbiorach danych do szkolenia sztucznej inteligencji. |
Najczęściej zadawane pytania
Czy plik robots.txt rzeczywiście uniemożliwia sztucznej inteligencji korzystanie z moich treści?
Działa to na zasadzie zaufania — roboty indeksujące renomowanych firm zajmujących się sztuczną inteligencją przestrzegają tego standardu (właśnie dlatego istnieją takie agenty użytkownika jak GPTBot, CCBot itp., które zostały wyraźnie udokumentowane, aby strony mogły zrezygnować z ich obsługi). Nie powstrzymuje to jednak robotów indeksujących, które ignorują ten standard, i nie ma to żadnego wpływu na treści zebrane przed dodaniem blokady.
Czy blokowanie robotów indeksujących opartych na sztucznej inteligencji wpłynie negatywnie na moją pozycję w wynikach wyszukiwania Google/Bing?
Nie — ten szablon dla robota indeksującego AI blokuje wyłącznie wymienione boty AI, a dla wszystkich pozostałych pozostawia symbol wieloznaczny „Allow: /”, więc nie ma to wpływu na Googlebota i Bingbota.
Gdzie mam umieścić plik robots.txt?
W katalogu głównym Twojej domeny, tak aby plik był dostępny dokładnie pod adresem yourdomain.com/robots.txt — a nie w podkatalogu. Większość dostawców usług hostingowych i generatorów stron statycznych udostępnia w tym celu specjalny katalog publiczny lub główny.
Do czego służy wiersz dotyczący mapy witryny?
Wskazuje robotom indeksującym plik sitemap.xml, w którym wymienione są wszystkie strony nadające się do indeksowania. Jest to opcjonalne, ale powszechnie zalecane — wystarczy jeden dodatkowy wiersz, który może przyspieszyć proces wykrywania nowych stron.
Czy mogę połączyć niestandardowe ścieżki zablokowane z ustawieniem domyślnym blokującym AI?
Tak — ustawienie domyślne blokujące boty AI najpierw blokuje boty AI, a następnie stosuje zdefiniowane przez użytkownika ścieżki wykluczenia (jeśli takie istnieją) w ramach ogólnej reguły z symbolem wieloznacznym, która nadal zezwala na dostęp wyszukiwarek.