CodeKitHubHvad er dette værktøj?
robots.txt er en almindelig tekstfil ved dit websteds rod, der fortæller webcrawlere, hvilke dele af sitet de må eller ikke må tilgå. Søgemaskiner som Google og Bing respekterer den til indeksering; i 2026 er det også standardmåden, sites fravælger at få deres indhold brugt til at træne AI-modeller på, via specifikke bot-navne som GPTBot, CCBot og Google-Extended.
At få syntaksen præcis rigtig betyder noget — en forkert Disallow-sti kan ved et uheld blokere søgemaskiner fra hele dit site, eller en AI-blokeringsregel placeret forkert kan mislykkes med reelt at blokere noget som helst. Denne generator producerer syntaktisk korrekt output til hvert scenarie.
Efter næsten tre årtier som en uformel konvention, der går tilbage til 1994, blev Robots Exclusion Protocol endelig standardiseret som RFC 9309 i 2022 — reglerne, denne generator udsender (User-agent, Disallow, Allow, plus Sitemap-udvidelsen), følger den specifikation.
Hvorfor bruge det?
- En dedikeret forudindstilling til AI-crawler-blokering, der dækker GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider og anthropic-ai — mens søgemaskineadgang eksplicit bevares.
- Brugerdefinerede blokerede stier til indhold, du vil skjule fra alle crawlere.
- Sitemap-URL-felt — en lille tilføjelse, der hjælper søgemaskiner med at opdage dine sider hurtigere.
- Korrekt syntaks hver gang — ingen risiko for, at en tastefejl blokerer hele dit site.
- Gratis, øjeblikkelig, download filen direkte eller kopiér teksten.
Sådan bruger du det
- Vælg en forudindstilling: tillad alt, bloker alt, eller bloker kun AI-crawlere.
- Tilføj eventuelt brugerdefinerede blokerede stier, én pr. linje (f.eks. /admin/).
- Tilføj eventuelt din sitemap-URL.
- Klik på Kopiér eller Download, og upload derefter filen til dit sites rod som /robots.txt.
Eksempel
Input
Forudindstilling: Bloker AI-crawlere, behold søgemaskiner. Sitemap: https://example.com/sitemap.xmlOutput
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlHver AI-crawler får sin egen eksplicitte blokering, mens jokertegnsreglen til sidst holder normal søgemaskineadgang åben.
Bør du blokere denne crawler?
Ikke alle bots tjener det samme formål — at blokere den forkerte kan skære søgetrafik fra i stedet for blot at fravælge AI-træning.
| Crawler | Hvad den gør | Bloker den, hvis… |
|---|---|---|
| Googlebot, Bingbot | Indekserer dit site til søgeresultater | Aldrig — at blokere disse fjerner dig helt fra Google/Bing-søgning. |
| GPTBot, ChatGPT-User | OpenAIs crawlere — GPTBot træner modeller, ChatGPT-User henter sider, en bruger bad ChatGPT om at browse | Du vil ikke have dit indhold brugt til AI-træning, men bemærk, at ChatGPT-Users browsing af en side, en bruger har linket til, er et andet tilfælde, som nogle sites vælger at tillade. |
| Google-Extended | Styrer, om Google bruger dit indhold til Gemini/AI-træning — adskilt fra Googlebots søgeindeksering | Du vil forblive i Google-søgning, men fravælge Googles AI-træning — denne direktiv gør præcis det uden at skade placeringer. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (fodrer mange AI-datasæt), ByteDance, Anthropics crawlere | Samme begrundelse som GPTBot — bloker, hvis du ikke vil have indhold i AI-træningssæt. |
Ofte stillede spørgsmål
Stopper robots.txt faktisk AI fra at bruge mit indhold?
Det fungerer på et æresprincip — anerkendte AI-virksomheders crawlere respekterer det faktisk (det er derfor, GPTBot, CCBot osv. findes som distinkte, dokumenterede user-agents, specifikt så sites kan fravælge det). Det stopper ikke crawlere, der ignorerer standarden, og det har ingen effekt på indhold, der allerede er skrabet, før du tilføjede blokeringen.
Vil det skade min Google/Bing-søgeplacering at blokere AI-crawlere?
Nej — AI-crawler-forudindstillingen blokerer specifikt kun de navngivne AI-bots og efterlader en jokertegns-"Allow: /" for alle andre, så Googlebot og Bingbot forbliver upåvirkede.
Hvor placerer jeg robots.txt-filen?
Ved roden af dit domæne, så den er tilgængelig præcis på dindomæne.dk/robots.txt — ikke i en undermappe. De fleste webhoteller og statiske site-generatorer har en dedikeret public/root-mappe til dette.
Hvad er sitemap-linjen til?
Den peger crawlere hen til din sitemap.xml, som lister alle dine indekserbare sider. Den er valgfri, men anbefales ofte — én ekstra linje, der kan fremskynde, hvor hurtigt nye sider bliver opdaget.
Kan jeg kombinere brugerdefinerede blokerede stier med AI-blokeringsforudindstillingen?
Ja — AI-blokeringsforudindstillingen tilføjer først AI-bot-blokeringer og anvender derefter dine brugerdefinerede blokerede stier (hvis nogen) under den generelle jokertegnsregel, der stadig tillader søgemaskiner.