CodeKitHubWat is deze tool?
robots.txt is een platte-tekstbestand in de root van je site dat webcrawlers vertelt welke delen van de site ze wel of niet mogen bezoeken. Zoekmachines zoals Google en Bing respecteren het voor indexering; in 2026 is het ook de standaardmanier waarop sites aangeven dat ze niet willen dat hun content wordt gebruikt om AI-modellen te trainen, via specifieke botnamen zoals GPTBot, CCBot en Google-Extended.
De syntax exact goed krijgen is belangrijk — een verkeerd Disallow-pad kan per ongeluk zoekmachines van je hele site blokkeren, of een AI-blokkeerregel die verkeerd is geplaatst blokkeert in werkelijkheid helemaal niets. Deze generator produceert syntactisch correcte output voor elk scenario.
Na bijna drie decennia als informele conventie die teruggaat tot 1994, werd het Robots Exclusion Protocol in 2022 eindelijk gestandaardiseerd als RFC 9309 — de regels die deze generator produceert (User-agent, Disallow, Allow, plus de Sitemap-extensie) volgen die specificatie.
Waarom gebruiken?
- Een speciale AI-crawler-blokkeerpreset die GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider en anthropic-ai dekt — terwijl zoekmachinetoegang expliciet behouden blijft.
- Eigen disallow-paden voor content die je voor alle crawlers verborgen wilt houden.
- Sitemap-URL-veld — een kleine toevoeging die zoekmachines helpt je pagina's sneller te vinden.
- Elke keer correcte syntax — geen risico dat een typefout per ongeluk je hele site blokkeert.
- Gratis, direct, download het bestand rechtstreeks of kopieer de tekst.
Hoe te gebruiken
- Kies een preset: alles toestaan, alles blokkeren, of alleen AI-crawlers blokkeren.
- Voeg eventueel eigen disallow-paden toe, één per regel (bijv. /admin/).
- Voeg eventueel je sitemap-URL toe.
- Klik op Kopiëren of Downloaden en upload het bestand naar de root van je site als /robots.txt.
Voorbeeld
Invoer
Preset: AI-crawlers blokkeren, zoekmachines behouden. Sitemap: https://example.com/sitemap.xmlUitvoer
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlElke AI-crawler krijgt zijn eigen expliciete blokkade, terwijl de wildcard-regel aan het eind normale zoekmachinetoegang openhoudt.
Moet je deze crawler blokkeren?
Niet alle bots dienen hetzelfde doel — de verkeerde blokkeren kan zoekverkeer wegnemen in plaats van alleen AI-training te weigeren.
| Crawler | Wat het doet | Blokkeer als… |
|---|---|---|
| Googlebot, Bingbot | Indexeert je site voor zoekresultaten | Nooit — deze blokkeren verwijdert je volledig uit Google/Bing-zoekresultaten. |
| GPTBot, ChatGPT-User | OpenAI's crawlers — GPTBot traint modellen, ChatGPT-User haalt pagina's op die een gebruiker ChatGPT vroeg te bekijken | Je wilt niet dat je content wordt gebruikt voor AI-training, maar let op: ChatGPT-User die een door een gebruiker gelinkte pagina bezoekt, is een ander geval dat sommige sites wel toestaan. |
| Google-Extended | Bepaalt of Google je content gebruikt voor Gemini/AI-training — los van Googlebots zoekindexering | Je wilt in Google Zoeken blijven staan maar je afmelden voor Google's AI-training — deze richtlijn doet precies dat zonder je ranking te schaden. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (voedt veel AI-datasets), ByteDance, de crawlers van Anthropic | Zelfde redenering als GPTBot — blokkeer als je geen content in AI-trainingsdatasets wilt. |
Veelgestelde vragen
Stopt robots.txt AI daadwerkelijk om mijn content te gebruiken?
Het werkt op basis van vertrouwen — gerenommeerde AI-bedrijven respecteren het met hun crawlers (daarom bestaan GPTBot, CCBot enzovoort als aparte, gedocumenteerde user-agents, speciaal zodat sites zich kunnen afmelden). Het stopt geen crawlers die de standaard negeren, en het heeft geen effect op content die al gescrapet is voordat je de blokkade toevoegde.
Schaadt het blokkeren van AI-crawlers mijn Google/Bing-ranking?
Nee — de AI-crawler-preset blokkeert specifiek alleen de genoemde AI-bots en laat een wildcard "Allow: /" staan voor iedereen anders, dus Googlebot en Bingbot ondervinden geen invloed.
Waar plaats ik het robots.txt-bestand?
In de root van je domein, zodat het exact bereikbaar is op jouwdomein.com/robots.txt — niet in een submap. De meeste websitehosts en statische site-generators hebben hiervoor een aangewezen public/root-map.
Waar dient de sitemapregel voor?
Die verwijst crawlers naar je sitemap.xml, waarin al je indexeerbare pagina's staan. Het is optioneel maar wordt vaak aanbevolen — één extra regel die kan versnellen hoe snel nieuwe pagina's worden ontdekt.
Kan ik eigen disallow-paden combineren met de AI-blokkeerpreset?
Ja — de AI-blokkeerpreset voegt eerst de AI-botblokkades toe, en past daarna je eigen disallow-paden (indien aanwezig) toe onder de algemene wildcard-regel die zoekmachines nog steeds toelaat.