CodeKitHubŠto je ovaj alat?
robots.txt je obična tekstualna datoteka u korijenu vaše web-stranice koja tražilicama govori kojim dijelovima stranice smiju ili ne smiju pristupiti. Tražilice poput Googlea i Binga poštuju je za indeksiranje; 2026. godine to je i standardni način na koji se stranice isključuju iz korištenja njihovog sadržaja za treniranje AI modela, preko konkretnih naziva robota poput GPTBot, CCBot i Google-Extended.
Bitno je da sintaksa bude potpuno ispravna — kriva putanja Disallow može slučajno blokirati tražilice s cijele vaše stranice, ili pravilo za blokiranje AI-ja postavljeno na krivo mjesto može zapravo ništa ne blokirati. Ovaj generator proizvodi sintaktički ispravan izlaz za svaki scenarij.
Nakon gotovo tri desetljeća kao neformalna konvencija koja seže u 1994. godinu, protokol za isključivanje robota (Robots Exclusion Protocol) konačno je standardiziran kao RFC 9309 2022. godine — pravila koja ovaj generator proizvodi (User-agent, Disallow, Allow, plus ekstenzija Sitemap) slijede tu specifikaciju.
Zašto ga koristiti?
- Namjenski predložak za blokiranje AI tražilica koji pokriva GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider i anthropic-ai — uz izričito zadržavanje pristupa tražilica.
- Prilagođene zabranjene putanje za sadržaj koji želite sakriti od svih tražilica.
- Polje za URL mape stranice — mali dodatak koji pomaže tražilicama brže otkrivati vaše stranice.
- Ispravna sintaksa uvijek — nema rizika da slučajna tipfeler blokira cijelu vašu stranicu.
- Besplatno, trenutačno, preuzmite datoteku izravno ili kopirajte tekst.
Kako ga koristiti
- Odaberite predložak: dopusti sve, blokiraj sve, ili blokiraj samo AI tražilice.
- Po želji dodajte prilagođene zabranjene putanje, jednu po retku (npr. /admin/).
- Po želji dodajte URL svoje mape stranice.
- Kliknite Kopiraj ili Preuzmi, zatim učitajte datoteku u korijen svoje stranice kao /robots.txt.
Primjer
Ulaz
Predložak: blokiraj AI tražilice, zadrži tražilice. Mapa stranice: https://example.com/sitemap.xmlIzlaz
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlSvaka AI tražilica dobiva svoje izričito blokiranje, dok pravilo sa zamjenskim znakom na kraju održava normalan pristup tražilica otvorenim.
Trebate li blokirati ovu tražilicu?
Nisu svi roboti iste namjene — blokiranje pogrešnog može odsjeći promet s tražilica umjesto da samo isključite treniranje AI-ja.
| Tražilica | Što radi | Blokirajte je ako… |
|---|---|---|
| Googlebot, Bingbot | Indeksira vašu stranicu za rezultate pretraživanja | Nikad — blokiranje ovih uklanja vas u potpunosti iz Google/Bing pretraživanja. |
| GPTBot, ChatGPT-User | OpenAI-jevi roboti — GPTBot trenira modele, ChatGPT-User dohvaća stranice koje je korisnik zatražio da ChatGPT pregleda | Ne želite da se vaš sadržaj koristi za AI treniranje, no imajte na umu da je pregledavanje ChatGPT-Usera stranice koju je korisnik povezao drugačiji slučaj koji neke stranice odluče dopustiti. |
| Google-Extended | Kontrolira koristi li Google vaš sadržaj za Gemini/AI treniranje — odvojeno od Googlebot indeksiranja za pretraživanje | Želite ostati u Google pretraživanju, ali isključiti se iz Googleovog AI treniranja — ova direktiva to radi bez štete za rangiranje. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (opskrbljuje mnoge AI skupove podataka), ByteDance, Anthropicovi roboti | Isto obrazloženje kao za GPTBot — blokirajte ako ne želite sadržaj u skupovima za AI treniranje. |
Često postavljana pitanja
Zaustavlja li robots.txt zaista AI od korištenja mog sadržaja?
Djeluje na temelju sustava časti — ozbiljne AI tvrtke poštuju ga (zato GPTBot, CCBot i drugi postoje kao zasebni, dokumentirani korisnički agenti upravo kako bi se stranice mogle isključiti). Ne zaustavlja tražilice koje ignoriraju standard, i nema utjecaja na sadržaj koji je već prikupljen prije nego što ste dodali blokadu.
Hoće li blokiranje AI tražilica naštetiti mom rangiranju na Google/Bing tražilicama?
Ne — predložak za AI tražilice blokira isključivo imenovane AI robote i ostavlja zamjensko pravilo "Allow: /" za sve ostale, tako da Googlebot i Bingbot ostaju neometani.
Gdje stavljam datoteku robots.txt?
U korijen vaše domene, tako da je dostupna točno na vasadomena.com/robots.txt — ne u podmapi. Većina web hostinga i generatora statičkih stranica ima namjensku javnu/korijensku mapu za ovo.
Za što služi redak s mapom stranice?
Usmjerava tražilice na vaš sitemap.xml, koji navodi sve vaše stranice za indeksiranje. Nije obavezno, ali se obično preporučuje — jedan dodatni redak koji može ubrzati otkrivanje novih stranica.
Mogu li kombinirati prilagođene zabranjene putanje s predloškom za blokiranje AI-ja?
Da — predložak za blokiranje AI-ja prvo dodaje blokade AI robota, zatim primjenjuje vaše prilagođene zabranjene putanje (ako postoje) pod općim zamjenskim pravilom koje i dalje dopušta tražilicama pristup.