CodeKitHubHva er dette verktøyet?
robots.txt er en ren tekstfil på rotnivået til nettstedet ditt som forteller nettroboter hvilke deler av nettstedet de kan eller ikke kan besøke. Søkemotorer som Google og Bing respekterer den ved indeksering; i 2026 er den også standardmåten nettsteder velger bort å la innholdet sitt brukes til å trene AI-modeller, via spesifikke robotnavn som GPTBot, CCBot og Google-Extended.
Å få syntaksen helt riktig betyr noe — en feil Disallow-sti kan utilsiktet blokkere søkemotorer fra hele nettstedet ditt, eller en AI-blokkeringsregel plassert feil kan mislykkes i å faktisk blokkere noe. Denne generatoren produserer syntaktisk korrekt output for hvert scenario.
Etter nesten tre tiår som en uformell konvensjon som går tilbake til 1994, ble Robots Exclusion Protocol endelig standardisert som RFC 9309 i 2022 — reglene denne generatoren produserer (User-agent, Disallow, Allow, samt Sitemap-utvidelsen) følger den spesifikasjonen.
Hvorfor bruke det?
- En dedikert forhåndsinnstilling for blokkering av AI-roboter som dekker GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider og anthropic-ai — mens søkemotortilgang eksplisitt beholdes.
- Egne sperrede stier for innhold du vil skjule for alle roboter.
- Sitemap-URL-felt — en liten tilføyelse som hjelper søkemotorer med å oppdage sidene dine raskere.
- Riktig syntaks hver gang — ingen risiko for at en tilfeldig skrivefeil blokkerer hele nettstedet ditt.
- Gratis, øyeblikkelig, last ned filen direkte eller kopier teksten.
Slik bruker du det
- Velg en forhåndsinnstilling: tillat alt, blokker alt, eller blokker kun AI-roboter.
- Legg eventuelt til egne sperrede stier, én per linje (f.eks. /admin/).
- Legg eventuelt til din sitemap-URL.
- Klikk Kopier eller Last ned, og last deretter opp filen til nettstedets rot som /robots.txt.
Eksempel
Inndata
Forhåndsinnstilling: Blokker AI-roboter, behold søkemotorer. Sitemap: https://example.com/sitemap.xmlResultat
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlHver AI-robot får sin egen eksplisitte blokkering, mens jokertegnregelen på slutten holder normal søkemotortilgang åpen.
Bør du blokkere denne roboten?
Ikke alle roboter tjener samme formål — å blokkere feil kan kutte søketrafikk i stedet for bare å velge bort AI-trening.
| Robot | Hva den gjør | Blokker den hvis… |
|---|---|---|
| Googlebot, Bingbot | Indekserer nettstedet ditt for søkeresultater | Aldri — å blokkere disse fjerner deg helt fra Google-/Bing-søk. |
| GPTBot, ChatGPT-User | OpenAIs roboter — GPTBot trener modeller, ChatGPT-User henter sider en bruker ba ChatGPT om å bla gjennom | Du ønsker ikke at innholdet ditt skal brukes til AI-trening, men merk at ChatGPT-User som blar gjennom en side en bruker lenket til er et annet tilfelle enkelte nettsteder velger å tillate. |
| Google-Extended | Styrer om Google bruker innholdet ditt til Gemini-/AI-trening — atskilt fra Googlebots søkeindeksering | Du vil bli værende i Google Søk, men velge bort Googles AI-trening — denne direktivet gjør nøyaktig det uten å skade rangeringen. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (mater mange AI-datasett), ByteDance, Anthropics roboter | Samme resonnement som GPTBot — blokker hvis du ikke vil ha innhold i AI-treningssett. |
Ofte stilte spørsmål
Stopper robots.txt faktisk AI fra å bruke innholdet mitt?
Det fungerer på et æressystem — seriøse AI-selskapers roboter respekterer det faktisk (det er derfor GPTBot, CCBot osv. finnes som distinkte, dokumenterte user-agents spesifikt slik at nettsteder kan velge bort). Det stopper ikke roboter som ignorerer standarden, og det har ingen effekt på innhold som allerede er skrapet før du la til blokkeringen.
Vil blokkering av AI-roboter skade Google/Bing-søkerangeringen min?
Nei — AI-robot-forhåndsinnstillingen blokkerer kun de navngitte AI-robotene og lar en jokertegn «Allow: /» stå åpen for alle andre, så Googlebot og Bingbot påvirkes ikke.
Hvor legger jeg robots.txt-filen?
Ved roten av domenet ditt, slik at den nås på nøyaktig dinside.no/robots.txt — ikke i en undermappe. De fleste nettsteds-verter og statiske nettstedsgeneratorer har en dedikert public/root-mappe for dette.
Hva er sitemap-linjen til for?
Den peker roboter til sitemap.xml, som lister alle de indekserbare sidene dine. Den er valgfri, men ofte anbefalt — én ekstra linje som kan gjøre det raskere for nye sider å bli oppdaget.
Kan jeg kombinere egne sperrede stier med AI-blokkeringsforhåndsinnstillingen?
Ja — AI-blokkeringsforhåndsinnstillingen legger til AI-robotblokkeringer først, og bruker deretter dine egne sperrede stier (hvis noen) under den generelle jokertegnregelen som fortsatt tillater søkemotorer.