CodeKitHubKaj je to orodje?
robots.txt je navadna besedilna datoteka v korenu tvoje spletne strani, ki pajkom pove, do katerih delov strani smejo ali ne smejo dostopati. Iskalniki, kot sta Google in Bing, jo upoštevajo pri indeksiranju; leta 2026 je to tudi standarden način, na katerega se strani odpovejo temu, da bi njihova vsebina služila za učenje AI modelov, prek imen specifičnih botov, kot so GPTBot, CCBot in Google-Extended.
Pomembno je, da je sintaksa popolnoma pravilna — napačna pot Disallow lahko nenamerno blokira iskalnike z vse tvoje strani, ali pa napačno postavljeno pravilo za blokiranje AI ne blokira dejansko ničesar. Ta generator ustvari sintaktično pravilen izpis za vsak scenarij.
Po skoraj treh desetletjih neformalne konvencije, ki sega v leto 1994, je bil protokol za izključitev robotov (Robots Exclusion Protocol) leta 2022 končno standardiziran kot RFC 9309 — pravila, ki jih ustvari ta generator (User-agent, Disallow, Allow, ter razširitev Sitemap), sledijo tej specifikaciji.
Zakaj ga uporabiti?
- Namenska prednastavitev za blokiranje AI pajkov, ki pokriva GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider in anthropic-ai — ob tem izrecno ohranja dostop iskalnikom.
- Poti disallow po meri za vsebino, ki jo želiš skriti pred vsemi pajki.
- Polje za URL zemljevida strani — majhen dodatek, ki iskalnikom pomaga hitreje odkriti tvoje strani.
- Vedno pravilna sintaksa — brez tveganja, da bi naključna tipkarska napaka blokirala celotno stran.
- Brezplačno, takojšnje, prenesi datoteko neposredno ali kopiraj besedilo.
Kako ga uporabljati
- Izberi prednastavitev: dovoli vse, blokiraj vse ali blokiraj samo AI pajke.
- Po želji dodaj blokirane poti po meri, eno na vrstico (npr. /admin/).
- Po želji dodaj URL svojega zemljevida strani.
- Klikni Kopiraj ali Prenesi, nato pa naloži datoteko v koren svoje strani kot /robots.txt.
Primer
Vnos
Prednastavitev: Blokiraj AI pajke, obdrži iskalnike. Zemljevid strani: https://example.com/sitemap.xmlRezultat
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlVsak AI pajek dobi svoj izrecen blok, medtem ko nadomestno pravilo na koncu ohranja odprt dostop za običajne iskalnike.
Ali naj blokiraš tega pajka?
Vsi boti ne služijo istemu namenu — blokiranje napačnega lahko odreže promet iz iskalnikov namesto da bi se le odpovedal AI učenju.
| Pajek | Kaj počne | Blokiraj, če … |
|---|---|---|
| Googlebot, Bingbot | Indeksira tvojo stran za rezultate iskanja | Nikoli — blokiranje teh te v celoti odstrani iz iskanja Google/Bing. |
| GPTBot, ChatGPT-User | OpenAI-jevi pajki — GPTBot uči modele, ChatGPT-User pa pridobiva strani, ki jih je uporabnik prosil ChatGPT, naj jih obišče | Ne želiš, da se tvoja vsebina uporablja za učenje AI, a upoštevaj, da je brskanje ChatGPT-User po strani, ki jo je uporabnik povezal, drugačen primer, ki ga nekatere strani izberejo, da dovolijo. |
| Google-Extended | Nadzoruje, ali Google tvojo vsebino uporablja za učenje Gemini/AI — ločeno od indeksiranja Googlebota za iskanje | Želiš ostati v Google iskanju, a se odpovedati Googlovemu AI učenju — ta direktiva to natanko naredi, ne da bi škodovala uvrstitvi. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (napaja mnoge AI podatkovne nabore), ByteDance, Anthropicovi pajki | Enako razlogovanje kot pri GPTBotu — blokiraj, če ne želiš vsebine v naborih za AI učenje. |
Pogosta vprašanja
Ali robots.txt dejansko prepreči, da bi AI uporabljal mojo vsebino?
Deluje po častnem sistemu — pajki uglednih AI podjetij ga res upoštevajo (zato GPTBot, CCBot itd. obstajajo kot ločeni, dokumentirani uporabniški agenti, posebej zato, da se strani lahko odpovejo uporabi). Ne ustavi pajkov, ki standard ignorirajo, in nima vpliva na vsebino, ki je bila poškrapana že pred dodajanjem bloka.
Bo blokiranje AI pajkov škodovalo moji uvrstitvi na Google/Bing?
Ne — prednastavitev za blokiranje AI blokira izključno imenovane AI bote in pusti nadomestno pravilo "Allow: /" za vse ostale, zato Googlebot in Bingbot nista prizadeta.
Kam postavim datoteko robots.txt?
V koren svoje domene, tako da je dosegljiva natanko na yourdomain.com/robots.txt — ne v podmapi. Večina ponudnikov gostovanja in generatorjev statičnih strani ima za to namenjeno mapo public/root.
Čemu služi vrstica sitemap?
Pajkom pokaže na tvoj sitemap.xml, ki našteje vse tvoje strani za indeksiranje. Ni obvezna, a je pogosto priporočena — ena dodatna vrstica lahko pospeši, kako hitro se odkrijejo nove strani.
Ali lahko kombiniram poti disallow po meri s prednastavitvijo za blokiranje AI?
Da — prednastavitev za blokiranje AI najprej doda bloke za AI bote, nato pa uporabi tvoje poti disallow po meri (če obstajajo) pod splošnim nadomestnim pravilom, ki še vedno dovoljuje iskalnikom.