CodeKitHubCe este acest instrument?
robots.txt este un fișier text simplu la rădăcina site-ului tău, care indică crawlerelor web ce părți ale site-ului pot sau nu pot accesa. Motoarele de căutare precum Google și Bing îl respectă pentru indexare; în 2026 este de asemenea modalitatea standard prin care site-urile refuză folosirea conținutului lor pentru antrenarea modelelor AI, prin nume specifice de boți precum GPTBot, CCBot și Google-Extended.
Este important să obții sintaxa exact corectă — o cale Disallow greșită poate bloca accidental motoarele de căutare de pe întregul site, sau o regulă de blocare AI plasată incorect poate să nu blocheze de fapt nimic. Acest generator produce rezultate corecte din punct de vedere sintactic pentru fiecare scenariu.
După aproape trei decenii ca o convenție informală, datând din 1994, Protocolul de Excludere a Roboților a fost în sfârșit standardizat ca RFC 9309 în 2022 — regulile pe care le emite acest generator (User-agent, Disallow, Allow, plus extensia Sitemap) urmează acea specificație.
De ce să-l folosești?
- Un preset dedicat de blocare a crawlerelor AI, care acoperă GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider și anthropic-ai — păstrând explicit accesul motoarelor de căutare.
- Căi disallow personalizate pentru conținutul pe care vrei să-l ascunzi de toate crawlerele.
- Câmp pentru URL-ul sitemap-ului — o mică adăugire care ajută motoarele de căutare să-ți descopere paginile mai repede.
- Sintaxă corectă de fiecare dată — fără riscul ca o greșeală de tipar să blocheze accidental întregul site.
- Gratuit, instant, descarcă fișierul direct sau copiază textul.
Cum se folosește
- Alege un preset: permite tot, blochează tot, sau blochează doar crawlerele AI.
- Opțional, adaugă căi disallow personalizate, câte una pe rând (de ex. /admin/).
- Opțional, adaugă URL-ul sitemap-ului tău.
- Apasă Copiază sau Descarcă, apoi încarcă fișierul la rădăcina site-ului tău, ca /robots.txt.
Exemplu
Intrare
Preset: Blochează crawlere AI, păstrează motoarele de căutare. Sitemap: https://example.com/sitemap.xmlRezultat
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlFiecare crawler AI primește propriul blocaj explicit, în timp ce regula wildcard de la final păstrează accesul normal al motoarelor de căutare deschis.
Ar trebui să blochezi acest crawler?
Nu toți boții au același scop — blocarea celui greșit poate tăia traficul din căutări în loc să refuze doar antrenamentul AI.
| Crawler | Ce face | Blochează-l dacă… |
|---|---|---|
| Googlebot, Bingbot | Îți indexează site-ul pentru rezultatele căutării | Niciodată — blocarea acestora te elimină complet din căutarea Google/Bing. |
| GPTBot, ChatGPT-User | Crawlerele OpenAI — GPTBot antrenează modele, ChatGPT-User preia paginile pe care un utilizator a cerut ChatGPT-ului să le acceseze | Nu vrei ca conținutul tău să fie folosit la antrenarea AI, dar ține cont că navigarea ChatGPT-User pe o pagină legată de un utilizator este un caz diferit, pe care unele site-uri aleg să-l permită. |
| Google-Extended | Controlează dacă Google folosește conținutul tău pentru antrenarea Gemini/AI — separat de indexarea de căutare a Googlebot | Vrei să rămâi în Căutarea Google, dar să refuzi antrenamentul AI al Google — această directivă face exact asta, fără să afecteze clasarea. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (alimentează multe seturi de date AI), ByteDance, crawlerele Anthropic | Același raționament ca la GPTBot — blochează-le dacă nu vrei conținut în seturile de antrenament AI. |
Întrebări frecvente
Robots.txt chiar oprește AI-ul să-mi folosească conținutul?
Funcționează pe bază de onoare — crawlerele companiilor AI serioase chiar îl respectă (de aceea GPTBot, CCBot etc. există ca user-agenți distincți și documentați, special pentru ca site-urile să poată refuza). Nu oprește crawlerele care ignoră standardul și nu are niciun efect asupra conținutului deja extras înainte să adaugi blocajul.
Blocarea crawlerelor AI îmi va afecta clasarea în Google/Bing?
Nu — presetul pentru crawlere AI blochează specific doar boții AI numiți și lasă o regulă wildcard „Allow: /” pentru toți ceilalți, deci Googlebot și Bingbot nu sunt afectați.
Unde pun fișierul robots.txt?
La rădăcina domeniului tău, astfel încât să fie accesibil exact la yourdomain.com/robots.txt — nu într-un subfolder. Majoritatea găzduirilor de site-uri și generatoarelor de site-uri statice au un folder public/root dedicat pentru asta.
La ce servește linia sitemap?
Indică crawlerelor unde se află sitemap.xml, care listează toate paginile tale indexabile. Este opțională, dar recomandată în mod obișnuit — o linie în plus care poate accelera cât de repede sunt descoperite paginile noi.
Pot combina căi disallow personalizate cu presetul de blocare AI?
Da — presetul de blocare AI adaugă mai întâi blocajele boților AI, apoi aplică căile tale disallow personalizate (dacă există) sub regula wildcard generală, care încă permite accesul motoarelor de căutare.