CodeKitHubCo je tento nástroj?
robots.txt je textový soubor v kořeni vašeho webu, který sděluje crawlerům, ke kterým částem webu mají nebo nemají přístup. Vyhledávače jako Google a Bing ho respektují při indexaci; v roce 2026 je to také standardní způsob, jak weby odmítají použití svého obsahu k trénování AI modelů, prostřednictvím konkrétních jmen botů jako GPTBot, CCBot a Google-Extended.
Na přesné syntaxi záleží — chybná cesta Disallow může nechtěně zablokovat vyhledávačům přístup k celému webu, nebo špatně umístěné pravidlo pro blokování AI nemusí ve skutečnosti nic zablokovat. Tento generátor produkuje syntakticky správný výstup pro každý scénář.
Po téměř třech desetiletích jako neformální konvence sahající do roku 1994 byl Robots Exclusion Protocol v roce 2022 konečně standardizován jako RFC 9309 — pravidla, která tento generátor vytváří (User-agent, Disallow, Allow, plus rozšíření Sitemap), se řídí touto specifikací.
Proč ho používat?
- Speciální přednastavení pro blokování AI crawlerů pokrývající GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider a anthropic-ai — při výslovném zachování přístupu vyhledávačů.
- Vlastní zakázané cesty pro obsah, který chcete skrýt před všemi crawlery.
- Pole pro URL sitemapy — malý doplněk, který pomáhá vyhledávačům rychleji objevit vaše stránky.
- Vždy správná syntaxe — žádné riziko, že náhodný překlep zablokuje celý web.
- Zdarma, okamžité, stáhněte soubor přímo nebo zkopírujte text.
Jak se používá
- Vyberte přednastavení: povolit vše, blokovat vše, nebo blokovat pouze AI crawlery.
- Volitelně přidejte vlastní zakázané cesty, jednu na řádek (např. /admin/).
- Volitelně přidejte URL vaší sitemapy.
- Klikněte na Kopírovat nebo Stáhnout, poté nahrajte soubor do kořene svého webu jako /robots.txt.
Příklad
Vstup
Přednastavení: Blokovat AI crawlery, zachovat vyhledávače. Sitemapa: https://example.com/sitemap.xmlVýstup
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlKaždý AI crawler dostane svůj vlastní explicitní blok, zatímco pravidlo se zástupným znakem na konci ponechává otevřený běžný přístup vyhledávačů.
Máte tohoto crawlera blokovat?
Ne všichni boti slouží stejnému účelu — zablokování špatného může odříznout návštěvnost z vyhledávačů místo pouhého odhlášení z trénování AI.
| Crawler | Co dělá | Blokujte pokud… |
|---|---|---|
| Googlebot, Bingbot | Indexuje váš web pro výsledky vyhledávání | Nikdy — zablokování tohoto vás zcela odstraní z vyhledávání Google/Bing. |
| GPTBot, ChatGPT-User | Crawlery OpenAI — GPTBot trénuje modely, ChatGPT-User stahuje stránky, které si uživatel nechal ChatGPT prohlédnout | Nechcete, aby byl váš obsah použit pro trénování AI, ale pozor — procházení stránky uživatelem přes ChatGPT-User je jiný případ, který některé weby volí povolit. |
| Google-Extended | Řídí, zda Google používá váš obsah pro trénování Gemini/AI — odděleno od indexace vyhledávání Googlebotem | Chcete zůstat v Google Search, ale odhlásit se z trénování AI od Googlu — tato direktiva to dělá přesně bez poškození pořadí. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (napájí mnoho AI datasetů), ByteDance, crawlery Anthropicu | Stejná logika jako u GPTBot — blokujte, pokud nechcete obsah v tréninkových sadách AI. |
Časté dotazy
Zabraňuje robots.txt skutečně tomu, aby AI použila můj obsah?
Funguje na principu čestnosti — crawlery seriózních AI firem ho skutečně respektují (proto GPTBot, CCBot atd. existují jako samostatné, zdokumentované user-agenty právě proto, aby se weby mohly odhlásit). Nezastaví crawlery, které standard ignorují, a nemá žádný vliv na obsah, který už byl stažen před přidáním blokace.
Poškodí blokování AI crawlerů mé pořadí ve vyhledávání Google/Bing?
Ne — přednastavení pro AI crawlery blokuje pouze konkrétně jmenované AI boty a ponechává zástupné pravidlo "Allow: /" pro všechny ostatní, takže Googlebot a Bingbot zůstávají nedotčeny.
Kam mám umístit soubor robots.txt?
Do kořene vaší domény, aby byl dostupný přesně na yourdomain.com/robots.txt — ne v podsložce. Většina webhostingů a generátorů statických webů má pro to určenou veřejnou/kořenovou složku.
K čemu slouží řádek se sitemapou?
Ukazuje crawlerům na vaši sitemap.xml, která obsahuje všechny indexovatelné stránky. Je volitelný, ale běžně doporučený — jeden extra řádek, který může urychlit objevení nových stránek.
Mohu kombinovat vlastní zakázané cesty s přednastavením pro blokování AI?
Ano — přednastavení pro blokování AI nejprve přidá bloky AI botů, poté aplikuje vaše vlastní zakázané cesty (pokud existují) pod obecným zástupným pravidlem, které stále povoluje vyhledávače.