CodeKitHubVad är detta verktyg?
robots.txt är en vanlig textfil i din webbplats rot som talar om för webbcrawlare vilka delar av webbplatsen de får eller inte får komma åt. Sökmotorer som Google och Bing respekterar den för indexering; 2026 är det också standardsättet för webbplatser att avstå från att låta sitt innehåll användas för att träna AI-modeller, via specifika botnamn som GPTBot, CCBot och Google-Extended.
Att få syntaxen exakt rätt spelar roll — en felaktig Disallow-sökväg kan av misstag blockera sökmotorer från hela din webbplats, eller så kan en felaktigt placerad AI-blockeringsregel misslyckas med att faktiskt blockera något. Den här generatorn producerar syntaktiskt korrekt utdata för varje scenario.
Efter nästan tre decennier som informell konvention med rötter från 1994, standardiserades Robots Exclusion Protocol äntligen som RFC 9309 2022 — reglerna den här generatorn skapar (User-agent, Disallow, Allow, samt Sitemap-tillägget) följer den specifikationen.
Varför använda det?
- En dedikerad förinställning för AI-crawlerblockering som täcker GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider och anthropic-ai — samtidigt som sökmotoråtkomst uttryckligen behålls.
- Egna disallow-sökvägar för innehåll du vill dölja från alla crawlare.
- Sitemap-URL-fält — ett litet tillägg som hjälper sökmotorer att hitta dina sidor snabbare.
- Korrekt syntax varje gång — ingen risk att en felskrivning av misstag blockerar hela din webbplats.
- Gratis, direkt, ladda ner filen direkt eller kopiera texten.
Så använder du det
- Välj en förinställning: tillåt allt, blockera allt, eller blockera endast AI-crawlare.
- Lägg eventuellt till egna blockerade sökvägar, en per rad (t.ex. /admin/).
- Lägg eventuellt till din sitemap-URL.
- Klicka på Kopiera eller Ladda ner, ladda sedan upp filen till din webbplats rot som /robots.txt.
Exempel
Inmatning
Förinställning: Blockera AI-crawlare, behåll sökmotorer. Sitemap: https://example.com/sitemap.xmlResultat
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlVarje AI-crawlare får sin egen uttryckliga blockering, medan jokerregeln i slutet håller normal sökmotoråtkomst öppen.
Bör du blockera den här crawlaren?
Alla bottar tjänar inte samma syfte — att blockera fel bot kan strypa sökningstrafik istället för att bara avstå från AI-träning.
| Crawlare | Vad den gör | Blockera den om… |
|---|---|---|
| Googlebot, Bingbot | Indexerar din webbplats för sökresultat | Aldrig — att blockera dessa tar bort dig helt från Google/Bing-sökning. |
| GPTBot, ChatGPT-User | OpenAI:s crawlare — GPTBot tränar modeller, ChatGPT-User hämtar sidor en användare bad ChatGPT att bläddra i | Du vill inte att ditt innehåll används för AI-träning, men notera att ChatGPT-User som bläddrar en sida en användare länkat till är ett annat fall som vissa webbplatser väljer att tillåta. |
| Google-Extended | Styr om Google använder ditt innehåll för Gemini/AI-träning — separat från Googlebots sökindexering | Du vill stanna kvar i Google Sök men avstå från Googles AI-träning — den här direktiven gör exakt det utan att skada rankningen. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (matar många AI-dataset), ByteDance, Anthropics crawlare | Samma resonemang som GPTBot — blockera om du inte vill ha innehåll i AI-träningsdataset. |
Vanliga frågor
Stoppar robots.txt verkligen AI från att använda mitt innehåll?
Det fungerar på hedersord — seriösa AI-företags crawlare respekterar den (det är därför GPTBot, CCBot med flera existerar som distinkta, dokumenterade user-agents specifikt så att webbplatser kan avstå). Den stoppar inte crawlare som ignorerar standarden, och den har ingen effekt på innehåll som redan skrapats innan du la till blockeringen.
Skadar blockering av AI-crawlare min Google/Bing-sökranking?
Nej — förinställningen för AI-crawlare blockerar specifikt bara de namngivna AI-bottarna och lämnar en jokerregel "Allow: /" för alla andra, så Googlebot och Bingbot påverkas inte.
Var placerar jag robots.txt-filen?
I roten av din domän, så att den är nåbar på exakt yourdomain.com/robots.txt — inte i en undermapp. De flesta webbhotell och statiska webbplatsgeneratorer har en avsedd public/root-mapp för detta.
Vad är sitemap-raden till för?
Den pekar crawlare till din sitemap.xml, som listar alla dina indexerbara sidor. Det är valfritt men rekommenderas ofta — en extra rad som kan snabba upp hur snabbt nya sidor upptäcks.
Kan jag kombinera egna disallow-sökvägar med AI-blockeringsförinställningen?
Ja — förinställningen för AI-blockering lägger till AI-botblockeringar först, och tillämpar sedan dina egna disallow-sökvägar (om några) under den allmänna jokerregeln som fortfarande tillåter sökmotorer.