CodeKitHubЩо це за інструмент?
robots.txt — це звичайний текстовий файл у кореневому каталозі вашого сайту, який повідомляє веб-краулерам, до яких частин сайту вони можуть чи не можуть звертатися. Пошукові системи на кшталт Google та Bing враховують його для індексації; у 2026 році це також стандартний спосіб, яким сайти відмовляються від використання свого вмісту для навчання AI-моделей, через конкретні назви ботів на кшталт GPTBot, CCBot та Google-Extended.
Важливо, щоб синтаксис був абсолютно правильним — неправильний шлях Disallow може випадково заблокувати пошуковим системам доступ до всього вашого сайту, або ж неправильно розміщене правило блокування AI може взагалі нічого не заблокувати. Цей генератор створює синтаксично коректний вивід для кожного сценарію.
Після майже трьох десятиліть як неформальна конвенція, що бере початок з 1994 року, протокол виключення роботів нарешті було стандартизовано як RFC 9309 у 2022 році — правила, які генерує цей інструмент (User-agent, Disallow, Allow, а також розширення Sitemap), відповідають цій специфікації.
Навіщо його використовувати?
- Спеціальна заготовка для блокування AI-краулерів, що охоплює GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider та anthropic-ai — з явним збереженням доступу для пошукових систем.
- Власні заборонені шляхи для вмісту, який ви хочете приховати від усіх краулерів.
- Поле URL карти сайту — невелике доповнення, яке допомагає пошуковим системам швидше знаходити ваші сторінки.
- Правильний синтаксис щоразу — без ризику випадкової помилки, яка заблокує весь ваш сайт.
- Безкоштовно, миттєво, завантажте файл напряму або скопіюйте текст.
Як користуватися
- Оберіть заготовку: дозволити все, заблокувати все, або заблокувати лише AI-краулери.
- За бажанням додайте власні заборонені шляхи, по одному в рядку (наприклад, /admin/).
- За бажанням додайте URL вашої карти сайту.
- Натисніть "Копіювати" або "Завантажити", а потім завантажте файл у корінь вашого сайту як /robots.txt.
Приклад
Введення
Заготовка: заблокувати AI-краулери, зберегти пошукові системи. Карта сайту: https://example.com/sitemap.xmlРезультат
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlКожен AI-краулер отримує власне явне блокування, тоді як правило з підстановним символом наприкінці залишає доступ звичайних пошукових систем відкритим.
Чи варто блокувати цей краулер?
Не всі боти виконують однакову функцію — блокування не того бота може відрізати пошуковий трафік замість того, щоб просто відмовитися від навчання AI.
| Краулер | Що він робить | Блокуйте, якщо… |
|---|---|---|
| Googlebot, Bingbot | Індексує ваш сайт для результатів пошуку | Ніколи — блокування цих ботів повністю виключає вас із пошуку Google/Bing. |
| GPTBot, ChatGPT-User | Краулери OpenAI — GPTBot навчає моделі, ChatGPT-User завантажує сторінки, які користувач попросив ChatGPT переглянути | Ви не хочете, щоб ваш вміст використовувався для навчання AI, але зауважте: перегляд ChatGPT-User сторінки, на яку послався користувач, — це інший випадок, який деякі сайти обирають дозволяти. |
| Google-Extended | Контролює, чи використовує Google ваш вміст для навчання Gemini/AI — окремо від індексації Googlebot у пошуку | Ви хочете залишитися в пошуку Google, але відмовитися від навчання AI Google — ця директива робить саме це, не шкодячи рейтингу. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (живить багато AI-датасетів), ByteDance, краулери Anthropic | Та сама логіка, що й для GPTBot — блокуйте, якщо не хочете, щоб вміст потрапив у набори даних для навчання AI. |
Часті запитання
Чи справді robots.txt зупиняє використання мого вмісту AI?
Це працює на чесному слові — краулери авторитетних AI-компаній справді його дотримуються (саме тому GPTBot, CCBot тощо існують як окремі, задокументовані user-agent'и спеціально для того, щоб сайти могли відмовитися). Він не зупиняє краулери, які ігнорують стандарт, і не впливає на вміст, уже зібраний до того, як ви додали блокування.
Чи зашкодить блокування AI-краулерів моєму рейтингу в пошуку Google/Bing?
Ні — заготовка блокування AI блокує лише названі AI-боти й залишає правило з підстановним символом "Allow: /" для всіх інших, тому Googlebot і Bingbot не постраждають.
Куди мені розмістити файл robots.txt?
У корені вашого домену, щоб він був доступний саме за адресою yourdomain.com/robots.txt — а не в підпапці. Більшість хостингів і генераторів статичних сайтів мають призначену публічну/кореневу папку саме для цього.
Для чого потрібен рядок з картою сайту?
Він вказує краулерам на ваш sitemap.xml, який перелічує всі ваші сторінки, доступні для індексації. Це необов'язково, але зазвичай рекомендується — один додатковий рядок, який може прискорити виявлення нових сторінок.
Чи можу я поєднати власні заборонені шляхи з заготовкою блокування AI?
Так — заготовка блокування AI спочатку додає блокування AI-ботів, а потім застосовує ваші власні заборонені шляхи (якщо є) під загальним правилом з підстановним символом, яке все ще дозволяє доступ пошуковим системам.