CodeKitHub이 도구는 무엇인가요?
robots.txt는 사이트 루트에 위치한 일반 텍스트 파일로, 웹 크롤러가 사이트의 어느 부분에 접근해도 되는지, 안 되는지를 알려줍니다. Google과 Bing 같은 검색엔진은 색인 작업에서 이를 존중하며, 2026년 현재는 GPTBot, CCBot, Google-Extended 같은 특정 봇 이름을 통해 자신의 콘텐츠가 AI 모델 학습에 쓰이지 않도록 거부 의사를 밝히는 표준 방법이기도 합니다.
문법을 정확하게 맞추는 것이 중요합니다. Disallow 경로를 잘못 쓰면 실수로 검색엔진이 사이트 전체에 접근하지 못하게 될 수 있고, AI 차단 규칙을 잘못 배치하면 실제로는 아무것도 차단하지 못할 수도 있습니다. 이 생성기는 각 시나리오에 맞는 문법적으로 올바른 결과물을 만들어줍니다.
1994년부터 이어져 온 비공식 관행이었던 로봇 배제 프로토콜(Robots Exclusion Protocol)은 거의 30년 만인 2022년에 RFC 9309로 정식 표준화되었습니다. 이 생성기가 만들어내는 규칙(User-agent, Disallow, Allow, 그리고 확장 항목인 Sitemap)은 이 규격을 따릅니다.
왜 사용해야 할까요?
- GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider, anthropic-ai를 아우르는 전용 AI 크롤러 차단 프리셋 — 검색엔진 접근은 명시적으로 유지합니다.
- 모든 크롤러로부터 숨기고 싶은 콘텐츠를 위한 사용자 지정 disallow 경로.
- 사이트맵 URL 입력란 — 검색엔진이 페이지를 더 빨리 찾도록 돕는 작은 추가 항목입니다.
- 매번 정확한 문법 — 사소한 오타로 사이트 전체가 차단될 위험이 없습니다.
- 무료, 즉시 결과 — 파일을 바로 다운로드하거나 텍스트를 복사할 수 있습니다.
사용 방법
- 프리셋을 선택하세요: 전체 허용, 전체 차단, 또는 AI 크롤러만 차단.
- 필요하다면 차단하고 싶은 경로를 한 줄에 하나씩 추가하세요(예: /admin/).
- 필요하다면 사이트맵 URL을 추가하세요.
- 복사 또는 다운로드를 클릭한 뒤, 파일을 사이트 루트에 /robots.txt로 업로드하세요.
예시
입력
프리셋: AI 크롤러 차단, 검색엔진 유지. 사이트맵: https://example.com/sitemap.xml결과
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml각 AI 크롤러마다 별도의 명시적 차단 규칙이 생성되고, 마지막의 와일드카드 규칙이 일반 검색엔진 접근은 열어둡니다.
이 크롤러를 차단해야 할까요?
모든 봇이 같은 목적을 갖는 건 아닙니다. 잘못된 봇을 차단하면 AI 학습 거부가 아니라 검색 트래픽 자체를 끊어버릴 수 있습니다.
| 크롤러 | 하는 일 | 이럴 때 차단하세요… |
|---|---|---|
| Googlebot, Bingbot | 검색 결과를 위해 사이트를 색인함 | 절대 차단하지 마세요 — 차단하면 Google/Bing 검색에서 완전히 제외됩니다. |
| GPTBot, ChatGPT-User | OpenAI의 크롤러 — GPTBot은 모델 학습용, ChatGPT-User는 사용자가 ChatGPT에게 열람을 요청한 페이지를 가져옴 | AI 학습에 콘텐츠가 쓰이는 걸 원하지 않을 때. 다만 사용자가 링크해서 ChatGPT-User가 페이지를 열람하는 경우는 일부 사이트가 허용하기도 하는 별개의 사례입니다. |
| Google-Extended | 검색 색인을 담당하는 Googlebot과 별개로, Google이 Gemini/AI 학습에 콘텐츠를 쓸지 여부를 제어함 | Google 검색에는 계속 노출되면서 Google의 AI 학습에서는 빠지고 싶을 때 — 이 지시어는 순위에 영향 없이 정확히 그 역할을 합니다. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl(여러 AI 데이터셋의 소스가 됨), ByteDance, Anthropic의 크롤러 | GPTBot과 같은 이유입니다 — 콘텐츠가 AI 학습 데이터셋에 포함되는 걸 원하지 않는다면 차단하세요. |
자주 묻는 질문
robots.txt가 실제로 AI가 제 콘텐츠를 쓰는 걸 막아주나요?
이는 일종의 신뢰 기반 규약입니다. 평판 있는 AI 회사의 크롤러들은 이를 존중합니다(GPTBot, CCBot 등이 사이트가 거부 의사를 밝힐 수 있도록 별도의 문서화된 사용자 에이전트로 존재하는 이유이기도 하죠). 하지만 이 표준을 무시하는 크롤러를 막지는 못하며, 차단을 추가하기 전에 이미 수집된 콘텐츠에는 아무 영향이 없습니다.
AI 크롤러를 차단하면 Google/Bing 검색 순위에 손해가 있나요?
아니요 — AI 크롤러 전용 프리셋은 명시된 AI 봇만 차단하고 나머지 모든 대상에는 와일드카드 "Allow: /"를 남겨두므로 Googlebot과 Bingbot에는 영향이 없습니다.
robots.txt 파일은 어디에 두어야 하나요?
도메인 루트에 두어야 yourdomain.com/robots.txt로 정확히 접근할 수 있습니다. 하위 폴더에 두면 안 됩니다. 대부분의 웹 호스팅과 정적 사이트 생성기에는 이를 위한 지정된 public/root 폴더가 있습니다.
사이트맵 항목은 무엇을 위한 건가요?
색인 가능한 모든 페이지를 나열한 sitemap.xml로 크롤러를 안내하는 역할입니다. 필수는 아니지만 흔히 권장되는 항목으로, 한 줄만 추가해도 새 페이지가 발견되는 속도를 높일 수 있습니다.
사용자 지정 disallow 경로와 AI 차단 프리셋을 함께 쓸 수 있나요?
네 — AI 차단 프리셋이 먼저 AI 봇 차단 규칙을 추가한 뒤, 검색엔진 접근은 계속 허용하는 일반 와일드카드 규칙 아래에 사용자 지정 disallow 경로(있는 경우)를 적용합니다.