CodeKitHubЧто это за инструмент?
robots.txt — это файл в виде простого текста, расположенный в корневой папке вашего сайта, который указывает веб-сканерам, к каким разделам сайта им разрешен доступ, а к каким — нет. Поисковые системы, такие как Google и Bing, учитывают его при индексации; в 2026 году это также станет стандартным способом, с помощью которого сайты могут отказаться от использования своего контента для обучения моделей искусственного интеллекта, указав конкретные имена ботов, такие как GPTBot, CCBot и Google-Extended.
Очень важно точно соблюдать синтаксис — неправильно указанный путь в директиве Disallow может случайно заблокировать поисковым системам доступ ко всему вашему сайту, а неправильно настроенное правило блокировки ИИ может оказаться вообще неэффективным. Этот генератор создает синтаксически корректный код для каждого сценария.
Зачем его использовать?
- Специальная настройка для блокировки ИИ-краулеров, охватывающая GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider и anthropic-ai — при этом явно сохраняя доступ для поисковых систем.
- Укажите пользовательские запрещенные пути для контента, который необходимо скрыть от всех роботов-сканеров.
- Поле «URL карты сайта» — небольшое дополнение, которое помогает поисковым системам быстрее находить ваши страницы.
- Всегда правильный синтаксис — никакого риска, что случайная опечатка заблокирует весь ваш сайт.
- Бесплатно, мгновенно — скачайте файл напрямую или скопируйте текст.
Как использовать
- Выберите один из следующих вариантов: разрешить все, заблокировать все или заблокировать только ИИ-ботов.
- При желании добавьте собственные запрещённые пути, по одному в каждой строке (например, /admin/).
- При желании добавьте URL-адрес карты сайта.
- Нажмите «Копировать» или «Скачать», а затем загрузите файл в корневую папку вашего сайта с именем /robots.txt.
Пример
Ввод
Preset: Block AI crawlers, keep search engines. Sitemap: https://example.com/sitemap.xmlРезультат
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlКаждому ИИ-краулеру выделяется отдельный явный блок, а правило с подстановочным символом в конце обеспечивает доступ обычным поисковым системам.
Стоит ли заблокировать этот робот-паук?
Не все боты служат одной и той же цели — блокировка неподходящего бота может привести к потере поискового трафика, а не просто к отказу от обучения ИИ.
| Краулер | Для чего это нужно | Заблокируйте, если… |
|---|---|---|
| Googlebot, Bingbot | Обеспечивает индексацию вашего сайта для отображения в результатах поиска | Ни в коем случае — блокировка этих ботов приведет к полному исключению вашего сайта из результатов поиска Google и Bing. |
| GPTBot, ChatGPT-User | Боты OpenAI — GPTBot занимается обучением моделей, а ChatGPT-User загружает страницы, которые пользователь попросил ChatGPT просмотреть | Вы не хотите, чтобы ваш контент использовался для обучения ИИ, но обратите внимание: просмотр пользователем ChatGPT страницы, ссылку на которую прислал другой пользователь, — это отдельный случай, который некоторые сайты предпочитают разрешать. |
| Google-Extended | Определяет, будет ли Google использовать ваш контент для обучения моделей Gemini/ИИ — это не связано с индексацией контента для поиска, осуществляемой Googlebot | Вы хотите оставаться в поисковой системе Google, но при этом отказаться от участия в обучении ИИ Google — эта настройка позволяет сделать именно это, не повлияв на позиции в рейтинге. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (используется для формирования множества наборов данных для ИИ), ByteDance, краулеры компании Anthropic | Принцип тот же, что и у GPTBot — блокируйте, если не хотите, чтобы контент попадал в обучающие наборы ИИ. |
Часто задаваемые вопросы
Действительно ли файл robots.txt не позволяет ИИ использовать мой контент?
Это работает на основе системы доверия — сканеры авторитетных компаний, занимающихся искусственным интеллектом, действительно соблюдают этот стандарт (именно поэтому GPTBot, CCBot и т. д. существуют как отдельные, задокументированные пользовательские агенты, специально для того, чтобы сайты могли отказаться от их использования). Это не останавливает сканеры, которые игнорируют данный стандарт, и не влияет на контент, уже скопированный до того, как вы добавили этот блок.
Повлияет ли блокировка роботов-пауков ИИ на мою позицию в поисковой выдаче Google/Bing?
Нет — в настройках AI-краулера специально заблокированы только указанные ИИ-боты, а для всех остальных оставлен подстановочный знак «Allow: /», поэтому Googlebot и Bingbot не затронуты.
Где нужно разместить файл robots.txt?
В корневом каталоге вашего домена, чтобы файл был доступен именно по адресу yourdomain.com/robots.txt — а не в какой-либо подпапке. У большинства хостинг-провайдеров и генераторов статических сайтов для этого предусмотрена специальная папка public/root.
Для чего нужна строка с картой сайта?
Это указывает поисковым роботам на ваш файл sitemap.xml, в котором перечислены все страницы, доступные для индексации. Это необязательно, но обычно рекомендуется — всего одна дополнительная строка, которая может ускорить обнаружение новых страниц.
Можно ли совместить настраиваемые запрещенные пути с предустановкой «Блокировка с помощью ИИ»?
Да — пресет «Блокировка ИИ» сначала блокирует ИИ-ботов, а затем применяет ваши настраиваемые пути, запрещающие доступ (если таковые имеются), в рамках общего правила с подстановочными знаками, которое по-прежнему разрешает доступ поисковым системам.