CodeKitHubMi ez az eszköz?
A robots.txt egy egyszerű szöveges fájl a weboldalad gyökerében, amely megmondja a keresőrobotoknak, mely részekhez férhetnek vagy nem férhetnek hozzá. A Google és a Bing tiszteletben tartja indexeléshez; 2026-ban ez a szabványos módja annak is, hogy az oldalak kizárják tartalmukat az AI-modellek tanításából, konkrét bot nevek, például a GPTBot, a CCBot és a Google-Extended révén.
A szintaxis pontos betartása fontos — egy hibás Disallow útvonal véletlenül kizárhatja a keresőmotorokat az egész oldaladról, vagy egy rosszul elhelyezett AI-tiltó szabály nem tilt le valójában semmit. Ez a generátor minden forgatókönyvhöz szintaktikailag helyes kimenetet ad.
Közel három évtizednyi informális konvenció után, amely 1994-ig nyúlik vissza, a Robots Exclusion Protocol végre szabvánnyá vált mint RFC 9309 2022-ben — az e generátor által kiadott szabályok (User-agent, Disallow, Allow, plusz a Sitemap kiegészítés) ezt a specifikációt követik.
Miért érdemes használni?
- Dedikált AI-robot-tiltó sablon, amely lefedi a GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider és anthropic-ai robotokat — miközben kifejezetten fenntartja a keresőmotoros hozzáférést.
- Egyedi tiltott útvonalak azokhoz a tartalmakhoz, amelyeket minden robot elől el akarsz rejteni.
- Sitemap URL mező — egy apró kiegészítés, amely segít a keresőmotoroknak gyorsabban felfedezni az oldalaidat.
- Mindig helyes szintaxis — nincs kockázata annak, hogy egy véletlen elgépelés kizárja az egész oldaladat.
- Ingyenes, azonnali, töltsd le közvetlenül a fájlt, vagy másold ki a szöveget.
Használati útmutató
- Válassz egy sablont: engedélyezz mindent, tilts mindent, vagy csak az AI-robotokat tiltsd.
- Opcionálisan adj hozzá egyedi tiltott útvonalakat, soronként egyet (pl. /admin/).
- Opcionálisan add hozzá a sitemap URL-edet.
- Kattints a Másolás vagy Letöltés gombra, majd töltsd fel a fájlt az oldalad gyökerébe /robots.txt néven.
Példa
Bemenet
Sablon: AI-robotok tiltása, keresőmotorok engedélyezése. Sitemap: https://example.com/sitemap.xmlKimenet
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlMinden AI-robot saját, explicit tiltást kap, míg a végén álló wildcard szabály nyitva tartja a normál keresőmotoros hozzáférést.
Blokkold ezt a keresőrobotot?
Nem minden bot ugyanazt a célt szolgálja — a rossz blokkolása keresési forgalmat vághat el ahelyett, hogy egyszerűen kilépnél az AI-tanításból.
| Keresőrobot | Mit csinál | Blokkold, ha… |
|---|---|---|
| Googlebot, Bingbot | Indexeli az oldaladat a keresési találatokhoz | Soha — ezek blokkolása teljesen kizár a Google/Bing keresésből. |
| GPTBot, ChatGPT-User | Az OpenAI keresőrobotjai — a GPTBot modelleket tanít, a ChatGPT-User olyan oldalakat tölt le, amelyeket egy felhasználó kért a ChatGPT-től böngészni | Nem akarod, hogy a tartalmadat AI-tanításra használják, de vedd figyelembe, hogy amikor a ChatGPT-User egy felhasználó által linkelt oldalt böngész, az más eset, amelyet egyes oldalak engedélyeznek. |
| Google-Extended | Azt szabályozza, hogy a Google felhasználja-e a tartalmadat Gemini/AI tanításhoz — külön a Googlebot keresési indexelésétől | Maradni akarsz a Google keresésben, de kilépnél a Google AI-tanításából — ez a direktíva pontosan ezt teszi a rangsorolás sérelme nélkül. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (sok AI-adathalmazt táplál), ByteDance, az Anthropic keresőrobotjai | Ugyanaz az indoklás, mint a GPTBotnál — blokkold, ha nem akarod, hogy a tartalmad AI-tanítási adathalmazokba kerüljön. |
Gyakori kérdések
Valóban megakadályozza a robots.txt, hogy az AI felhasználja a tartalmamat?
Becsületalapon működik — a megbízható AI-cégek keresőrobotjai tiszteletben tartják (ezért is léteznek a GPTBot, CCBot stb. mint különálló, dokumentált user-agentek, kifejezetten azért, hogy az oldalak kiléphessenek). Nem állítja meg azokat a robotokat, amelyek figyelmen kívül hagyják a szabványt, és nincs hatással a már korábban, a tiltás hozzáadása előtt lementett tartalomra.
Rontja az AI-robotok tiltása a Google/Bing keresési rangsoromat?
Nem — az AI-robot sablon kifejezetten csak a megnevezett AI-botokat tiltja, és egy „Allow: /” wildcard szabályt hagy meg mindenki másnak, így a Googlebot és a Bingbot nem érintett.
Hova kell tennem a robots.txt fájlt?
A domained gyökerébe, hogy pontosan a sajatdomain.hu/robots.txt címen legyen elérhető — ne egy almappába. A legtöbb webtárhely és statikus oldalgenerátor rendelkezik egy erre kijelölt public/root mappával.
Mire való a sitemap sor?
A sitemap.xml fájlodra irányítja a keresőrobotokat, amely felsorolja az összes indexelhető oldaladat. Opcionális, de általánosan ajánlott — egyetlen extra sor, amely felgyorsíthatja az új oldalak felfedezését.
Kombinálhatom az egyedi tiltott útvonalakat az AI-tiltó sablonnal?
Igen — az AI-tiltó sablon először az AI-bot tiltásokat adja hozzá, majd alkalmazza az egyedi tiltott útvonalaidat (ha vannak) az általános wildcard szabály alatt, amely továbbra is engedélyezi a keresőmotorokat.