CodeKitHubEn quoi consiste cet outil ?
Le fichier robots.txt est un fichier en texte brut situé à la racine de votre site qui indique aux robots d'indexation les parties du site auxquelles ils peuvent ou ne peuvent pas accéder. Les moteurs de recherche tels que Google et Bing en tiennent compte lors de l'indexation ; en 2026, c'est également la méthode standard utilisée par les sites pour refuser que leur contenu soit utilisé pour entraîner des modèles d'IA, via des noms de robots spécifiques tels que GPTBot, CCBot et Google-Extended.
Il est essentiel de respecter scrupuleusement la syntaxe : un chemin « Disallow » incorrect peut accidentellement empêcher les moteurs de recherche d'accéder à l'ensemble de votre site, tandis qu'une règle de blocage de l'IA mal configurée peut ne bloquer absolument rien. Ce générateur produit un résultat syntaxiquement correct pour chaque cas de figure.
Pourquoi l'utiliser ?
- Un préréglage dédié au blocage des robots d'indexation basés sur l'IA, couvrant GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider et anthropic-ai, tout en préservant explicitement l'accès aux moteurs de recherche.
- Définissez des chemins d'accès à exclure pour le contenu que vous souhaitez masquer à tous les robots d'indexation.
- Champ « URL du plan du site » : une petite fonctionnalité qui aide les moteurs de recherche à indexer vos pages plus rapidement.
- Une syntaxe toujours correcte — aucun risque qu’une faute de frappe accidentelle bloque l’ensemble de votre site.
- C'est gratuit et instantané : téléchargez directement le fichier ou copiez le texte.
Mode d'emploi
- Choisissez un paramètre prédéfini : tout autoriser, tout bloquer ou bloquer uniquement les robots d'indexation basés sur l'IA.
- Vous pouvez également ajouter des chemins d'accès interdits personnalisés, à raison d'un par ligne (par exemple : /admin/).
- Vous pouvez, si vous le souhaitez, ajouter l'URL de votre plan du site.
- Cliquez sur « Copier » ou « Télécharger », puis transférez le fichier à la racine de votre site sous le nom /robots.txt.
Exemple
Entrée
Preset: Block AI crawlers, keep search engines. Sitemap: https://example.com/sitemap.xmlRésultat
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlChaque robot d'indexation basé sur l'IA dispose de son propre bloc explicite, tandis que la règle générique à la fin permet de maintenir l'accès normal aux moteurs de recherche.
Faut-il bloquer ce robot d'indexation ?
Tous les bots n'ont pas la même fonction : bloquer le mauvais bot peut réduire le trafic provenant des moteurs de recherche, au lieu de simplement empêcher l'entraînement de l'IA.
| robot d'indexation | Fonctionnalités | Bloquez-le si… |
|---|---|---|
| Googlebot, Bingbot | Répertorie votre site pour les résultats de recherche | Jamais — le fait de bloquer ces éléments vous exclut totalement des résultats de recherche de Google et Bing. |
| GPTBot, utilisateur de ChatGPT | Les robots d'indexation d'OpenAI : GPTBot entraîne les modèles, tandis que ChatGPT-User récupère les pages qu'un utilisateur a demandé à ChatGPT de consulter | Vous ne souhaitez pas que votre contenu soit utilisé pour l'entraînement de l'IA, mais notez que la consultation par un utilisateur de ChatGPT d'une page vers laquelle un utilisateur a créé un lien constitue un cas différent que certains sites choisissent d'autoriser. |
| Google-Extended | Permet de déterminer si Google utilise votre contenu pour l'entraînement de Gemini/IA — indépendamment de l'indexation de recherche effectuée par Googlebot | Vous souhaitez continuer à figurer dans les résultats de recherche Google tout en refusant que vos données soient utilisées pour l'entraînement des modèles d'IA de Google ? Cette directive vous permet justement de le faire sans nuire à votre classement. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (alimente de nombreux ensembles de données d'IA), ByteDance, les robots d'indexation d'Anthropic | Même raisonnement que pour GPTBot : bloquez-le si vous ne souhaitez pas que certains contenus figurent dans les ensembles de données d'entraînement de l'IA. |
Foire aux questions
Le fichier robots.txt empêche-t-il réellement l'IA d'utiliser mon contenu ?
Ce système repose sur la confiance : les robots d'indexation des entreprises d'IA réputées le respectent (c'est pourquoi GPTBot, CCBot, etc. existent en tant qu'agents-utilisateurs distincts et documentés, précisément pour permettre aux sites de se désinscrire). Il n'empêche pas les robots d'indexation qui ignorent cette norme, et il n'a aucun effet sur le contenu déjà récupéré avant que vous n'ayez ajouté ce blocage.
Le fait de bloquer les robots d'indexation basés sur l'IA aura-t-il un impact négatif sur mon classement dans les résultats de recherche Google/Bing ?
Non — le préréglage du robot d'indexation IA bloque spécifiquement uniquement les bots IA mentionnés et laisse un caractère générique « Allow: / » pour tous les autres ; Googlebot et Bingbot ne sont donc pas concernés.
Où dois-je placer le fichier robots.txt ?
À la racine de votre domaine, afin qu'il soit accessible à l'adresse exacte votredomaine.com/robots.txt — et non dans un sous-dossier. La plupart des hébergeurs de sites web et des générateurs de sites statiques disposent d'un dossier « public » ou « racine » dédié à cet effet.
À quoi sert la ligne « sitemap » ?
Il indique aux robots d'indexation l'emplacement de votre fichier sitemap.xml, qui répertorie toutes vos pages indexables. Cette étape est facultative, mais souvent recommandée : il s'agit d'une ligne supplémentaire qui peut accélérer la découverte de vos nouvelles pages.
Puis-je associer des chemins d'accès à exclure personnalisés au préréglage de blocage par IA ?
Oui — le préréglage de blocage des IA bloque d'abord les bots IA, puis applique vos chemins d'exclusion personnalisés (le cas échéant) dans le cadre de la règle générale avec caractères génériques qui continue d'autoriser les moteurs de recherche.