CodeKitHubMikä tämä työkalu on?
robots.txt on pelkkä tekstitiedosto sivustosi juuressa, joka kertoo verkkoindeksoijille, mihin osiin sivustosta ne saavat tai eivät saa päästä. Hakukoneet kuten Google ja Bing kunnioittavat sitä indeksoinnissa; vuonna 2026 se on myös vakiotapa, jolla sivustot kieltäytyvät sisältönsä käytöstä tekoälymallien opetukseen tiettyjen bottien nimien kautta, kuten GPTBot, CCBot ja Google-Extended.
Syntaksin täydellisellä oikeellisuudella on väliä — väärä Disallow-polku voi vahingossa estää hakukoneita koko sivustostasi, tai väärin sijoitettu tekoälyn estosääntö voi epäonnistua estämästä mitään. Tämä generaattori tuottaa syntaktisesti oikean tulosteen jokaiseen skenaarioon.
Lähes kolmen vuosikymmenen epävirallisena käytäntönä vuodesta 1994 lähtien Robots Exclusion Protocol standardoitiin lopulta RFC 9309:ksi vuonna 2022 — säännöt, joita tämä generaattori tuottaa (User-agent, Disallow, Allow, sekä Sitemap-laajennus) noudattavat tätä spesifikaatiota.
Miksi käyttää sitä?
- Erityinen tekoälyrobottien estävä valmisasetus, joka kattaa GPTBotin, ChatGPT-Userin, CCBotin, Google-Extendedin, ClaudeBotin, Bytespiderin ja anthropic-ai:n — säilyttäen samalla nimenomaisesti hakukonepääsyn.
- Mukautetut estopolut sisällölle, jonka haluat piilottaa kaikilta indeksoijilta.
- Sivustokartan URL-kenttä — pieni lisäys, joka auttaa hakukoneita löytämään sivusi nopeammin.
- Oikea syntaksi joka kerta — ei riskiä, että vahinko-kirjoitusvirhe estäisi koko sivustosi.
- Ilmainen, välitön, lataa tiedosto suoraan tai kopioi teksti.
Käyttöohje
- Valitse valmisasetus: salli kaikki, estä kaikki, tai estä vain tekoälyrobotit.
- Lisää halutessasi mukautettuja estettyjä polkuja, yksi per rivi (esim. /admin/).
- Lisää halutessasi sivustokarttasi URL-osoite.
- Klikkaa Kopioi tai Lataa, ja lataa tiedosto sitten sivustosi juureen osoitteeseen /robots.txt.
Esimerkki
Syöte
Valmisasetus: Estä tekoälyrobotit, säilytä hakukoneet. Sivustokartta: https://example.com/sitemap.xmlTuloste
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlJokainen tekoälyrobotti saa oman nimenomaisen estonsa, kun taas lopun jokerimerkkisääntö pitää normaalin hakukonepääsyn avoimena.
Pitäisikö tämä indeksoija estää?
Kaikki botit eivät palvele samaa tarkoitusta — väärän estäminen voi katkaista hakuliikenteen sen sijaan, että vain kieltäytyisi tekoälyopetuksesta.
| Indeksoija | Mitä se tekee | Estä se, jos… |
|---|---|---|
| Googlebot, Bingbot | Indeksoi sivustosi hakutuloksia varten | Ei koskaan — näiden estäminen poistaa sinut kokonaan Google-/Bing-hausta. |
| GPTBot, ChatGPT-User | OpenAI:n indeksoijat — GPTBot opettaa malleja, ChatGPT-User hakee sivuja, joita käyttäjä pyysi ChatGPT:tä selaamaan | Et halua sisältösi käyttöä tekoälyopetukseen, mutta huomaa, että ChatGPT-Userin selaaminen käyttäjän linkittämällä sivulla on eri tapaus, jonka jotkin sivustot valitsevat sallia. |
| Google-Extended | Hallitsee, käyttääkö Google sisältöäsi Geminin/tekoälyn opetukseen — erillinen Googlebotin hakuindeksoinnista | Haluat pysyä Google-haussa mutta kieltäytyä Googlen tekoälyopetuksesta — tämä direktiivi tekee juuri niin vahingoittamatta sijoituksia. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (syöttää monia tekoäly-aineistoja), ByteDance, Anthropicin indeksoijat | Sama perustelu kuin GPTBotille — estä, jos et halua sisältöä tekoälyn opetusaineistoihin. |
Usein kysytyt kysymykset
Estääkö robots.txt oikeasti tekoälyä käyttämästä sisältöäni?
Se toimii kunniajärjestelmänä — maineikkaiden tekoälyfirmojen indeksoijat todella kunnioittavat sitä (siksi GPTBot, CCBot jne. ovat olemassa erillisinä, dokumentoituina käyttäjäagentteina nimenomaan, jotta sivustot voivat kieltäytyä). Se ei pysäytä indeksoijia, jotka jättävät standardin huomiotta, eikä sillä ole vaikutusta jo ennen eston lisäämistä kaavittuun sisältöön.
Vahingoittaako tekoälyrobottien estäminen Google-/Bing-hakusijoitustani?
Ei — tekoälyrobotti-valmisasetus estää nimenomaan vain nimetyt tekoälybotit ja jättää jokerimerkkisäännön "Allow: /" kaikille muille, joten Googlebot ja Bingbot eivät kärsi.
Mihin robots.txt-tiedosto sijoitetaan?
Verkkotunnuksesi juureen, jotta se on tavoitettavissa täsmälleen osoitteessa sinunverkkotunnuksesi.com/robots.txt — ei alikansiossa. Useimmilla verkkosivustojen isännöintipalveluilla ja staattisilla sivustogeneraattoreilla on tähän tarkoitettu public/root-kansio.
Mihin sivustokartta-rivi on tarkoitettu?
Se ohjaa indeksoijat sitemap.xml:ääsi, joka listaa kaikki indeksoitavat sivusi. Se on valinnainen mutta yleisesti suositeltu — yksi lisärivi, joka voi nopeuttaa uusien sivujen löytymistä.
Voinko yhdistää mukautetut estopolut tekoälyestovalmisasetukseen?
Kyllä — tekoälyestovalmisasetus lisää ensin tekoälybottien estot ja soveltaa sitten mukautetut estopolkusi (jos niitä on) yleisen jokerimerkkisäännön alle, joka silti sallii hakukoneet.