Robots.txt ジェネレーター

数秒で有効なrobots.txtを作成しましょう。あらかじめ用意されたテンプレート（すべてを許可、すべてをブロック、またはGoogleやBingのインデックス登録は維持しつつAIトレーニング用クローラーのみをブロック）から始め、アクセス禁止にするパスやサイトマップのURLを追加し、ファイルをコピーまたはダウンロードしてください。

このツールとは？

robots.txt は、サイトのルートディレクトリにあるプレーンテキストファイルで、ウェブクローラーに対して、サイトのどの部分にアクセスしてよいか、あるいはアクセスしてはいけないかを指定するものです。 Google や Bing などの検索エンジンは、インデックス作成の際にこの設定を尊重します。また、2026年現在、GPTBot、CCBot、Google-Extended といった特定のボット名を指定することで、サイトが AI モデルの学習にコンテンツが使用されることを拒否するための標準的な方法となっています。

構文を正確に指定することは重要です。Disallowのパスを間違えると、意図せずサイト全体が検索エンジンからブロックされてしまう可能性がありますし、AIブロックルールを誤った場所に設定すると、実際には何もブロックできなくなってしまう恐れがあります。このジェネレーターは、あらゆるシナリオにおいて構文的に正しい出力を生成します。

なぜこれを使うのか？

GPTBot、ChatGPT-User、CCBot、Google-Extended、ClaudeBot、Bytespider、anthropic-ai を対象とした、AIクローラーをブロックするための専用プリセットです。なお、検索エンジンへのアクセスは明示的に許可されています。
すべてのクローラーから非表示にしたいコンテンツのパスを個別に指定して、クロールを禁止します。
サイトマップのURLフィールド — 検索エンジンがページをより早く発見できるようになる、ちょっとした追加機能です。
常に正しい構文で記述できるため、うっかりしたタイプミスがサイト全体を機能停止させるリスクがありません。
無料で、すぐに、ファイルを直接ダウンロードするか、テキストをコピーしてください。

使い方

プリセットを選択してください：「すべて許可」、「すべてブロック」、または「AIクローラーのみブロック」のいずれかです。
必要に応じて、許可しないカスタムパスを1行につき1つずつ追加してください（例：/admin/）。
必要に応じて、サイトマップのURLを追加してください。
「コピー」または「ダウンロード」をクリックし、そのファイルをサイトのルートディレクトリに「/robots.txt」という名前でアップロードしてください。

例

入力

Preset: Block AI crawlers, keep search engines. Sitemap: https://example.com/sitemap.xml

出力

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

...

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

各AIクローラーには個別の明示的なブロックが割り当てられ、末尾のワイルドカードルールによって、通常の検索エンジンからのアクセスは引き続き許可されます。

このクローラーをブロックすべきでしょうか？

すべてのボットが同じ目的で動作しているわけではありません。間違ったボットをブロックしてしまうと、単にAIの学習から除外するだけでなく、検索からのトラフィックが途絶えてしまう可能性があります。

クローラー	機能の説明	次のような場合はブロックしてください…
Googlebot、Bingbot	検索結果にサイトがインデックスされるようにします	絶対にやめてください。これらをブロックすると、GoogleやBingの検索結果から完全に除外されてしまいます。
GPTBot、ChatGPT-User	OpenAIのクローラー――GPTBotはモデルの学習を行い、ChatGPT-UserはユーザーがChatGPTに閲覧を依頼したページを取得する	自分のコンテンツがAIの学習に使われるのは望まないでしょうが、ユーザーがリンクしたページをChatGPTユーザーが閲覧するのは別のケースであり、一部のサイトではこれを許可している点に注意してください。
Google-Extended	GoogleがGemini/AIのトレーニングにあなたのコンテンツを使用するかどうかを制御します。これは、Googlebotによる検索インデックス作成とは別です。	Google検索は利用し続けたいが、GoogleのAIトレーニングには参加したくない――この設定により、検索順位に影響を与えることなく、まさにその通りを実現できます。
CCBot、Bytespider、anthropic-ai、ClaudeBot	Common Crawl（多くのAIデータセットのソースとなっている）、ByteDance、Anthropicのクローラー	GPTBotと同じ理屈です。AIの学習データに含めたくない内容がある場合は、ブロックしてください。

よくある質問

robots.txt は、AI が私のコンテンツを利用することを実際に阻止できるのでしょうか？

これは「信頼に基づく仕組み」で機能します。信頼できるAI企業のクローラーはこの仕様を遵守しています（だからこそ、GPTBotやCCBotなどが、サイト側がオプトアウトできるように、個別のユーザーエージェントとして明確に定義されているのです）。ただし、この標準を無視するクローラーを阻止することはできず、ブロックを追加する前にすでにスクレイピングされてしまったコンテンツには何の影響もありません。

AIクローラーをブロックすると、GoogleやBingでの検索順位に悪影響が出ますか？

いいえ。このAIクローラー用プリセットは、指定されたAIボットのみをブロックし、それ以外のすべてに対してはワイルドカード「Allow: /」を設定しているため、GooglebotやBingbotには影響しません。

robots.txt ファイルはどこに置けばいいですか？

ドメインのルートディレクトリに配置してください。つまり、yourdomain.com/robots.txt という形で正確にアクセスできる場所に配置し、サブフォルダ内には置かないでください。ほとんどのウェブホスティングサービスや静的サイトジェネレータには、この目的のために専用の public/root フォルダが用意されています。

サイトマップの行は何のためのものでしょうか？

これにより、インデックス登録可能なすべてのページが記載された「sitemap.xml」がクローラーに通知されます。これは任意ですが、一般的に推奨されています。たった1行追加するだけで、新しいページが発見されるまでの時間を短縮できるからです。

カスタム「disallow」パスとAIブロック用プリセットを組み合わせて使用することはできますか？

はい。AIブロック用プリセットでは、まずAIボットをブロックし、その後、検索エンジンは引き続き許可する一般的なワイルドカードルールの下で、ユーザー指定のブロックパス（ある場合）が適用されます。