Robots.txt generatorius

Sukurkite tinkamą robots.txt per kelias sekundes: pradėkite nuo šablono (leisti viską, blokuoti viską arba blokuoti specialiai DI mokymo robotus, paliekant „Google“/„Bing“ indeksavimą), pridėkite savo blokuojamus kelius ir sitemap nuorodą, tada nukopijuokite ar atsisiųskite failą.

Kas yra šis įrankis?

robots.txt — tai paprastas tekstinis failas jūsų svetainės šaknyje, nurodantis žiniatinklio robotams, kurias svetainės dalis jie gali arba negali pasiekti. Paieškos sistemos, tokios kaip „Google“ ir „Bing“, jį gerbia indeksuodamos; 2026 m. tai taip pat yra standartinis būdas svetainėms atsisakyti, kad jų turinys būtų naudojamas DI modeliams mokyti, per konkrečius robotų vardus, tokius kaip GPTBot, CCBot ir Google-Extended.

Svarbu, kad sintaksė būtų tiksliai teisinga — neteisingas Disallow kelias gali netyčia užblokuoti paieškos sistemoms visą jūsų svetainę, arba neteisingoje vietoje įdėta DI blokavimo taisyklė gali iš tikrųjų nieko neužblokuoti. Šis generatorius kiekvienam scenarijui sukuria sintaksiškai teisingą rezultatą.

Po beveik trijų dešimtmečių kaip neoficiali konvencija, siekianti 1994 metus, robotų atmetimo protokolas (Robots Exclusion Protocol) galiausiai buvo standartizuotas kaip RFC 9309 2022 metais — taisyklės, kurias sukuria šis generatorius (User-agent, Disallow, Allow ir Sitemap plėtinys), atitinka šią specifikaciją.

Kodėl jį naudoti?

Specialus DI robotų blokavimo šablonas, apimantis GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider ir anthropic-ai — kartu aiškiai paliekant paieškos sistemų prieigą.
Individualūs disallow keliai turiniui, kurį norite paslėpti nuo visų robotų.
Sitemap nuorodos laukas — nedidelis papildymas, padedantis paieškos sistemoms greičiau atrasti jūsų puslapius.
Teisinga sintaksė kiekvieną kartą — jokios rizikos, kad atsitiktinė rašybos klaida užblokuos visą jūsų svetainę.
Nemokama, akimirksniu, atsisiųskite failą tiesiogiai arba nukopijuokite tekstą.

Kaip naudoti

Pasirinkite šabloną: leisti viską, blokuoti viską arba blokuoti tik DI robotus.
Pasirinktinai pridėkite individualius blokuojamus kelius, po vieną eilutėje (pvz., /admin/).
Pasirinktinai pridėkite savo sitemap nuorodą.
Spustelėkite „Kopijuoti“ arba „Atsisiųsti“, tada įkelkite failą į savo svetainės šaknį kaip /robots.txt.

Pavyzdys

Įvestis

Šablonas: blokuoti DI robotus, palikti paieškos sistemas. Sitemap: https://example.com/sitemap.xml

Išvestis

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

...

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Kiekvienas DI robotas gauna savo aiškų blokavimą, o galutinė wildcard taisyklė palieka atvirą įprastą paieškos sistemų prieigą.

Ar reikėtų blokuoti šį robotą?

Ne visi botai atlieka tą pačią funkciją — neteisingo boto blokavimas gali nutraukti paieškos srautą, o ne tiesiog atsisakyti DI mokymo.

Robotas	Ką jis daro	Blokuokite, jei…
Googlebot, Bingbot	Indeksuoja jūsų svetainę paieškos rezultatams	Niekada — šių blokavimas visiškai pašalins jus iš „Google“/„Bing“ paieškos.
GPTBot, ChatGPT-User	„OpenAI“ robotai — GPTBot moko modelius, ChatGPT-User atsiunčia puslapius, kuriuos vartotojas paprašė „ChatGPT“ naršyti	Nenorite, kad jūsų turinys būtų naudojamas DI mokymui, tačiau atkreipkite dėmesį, kad ChatGPT-User naršymas puslapyje, kurį vartotojas pridėjo, yra kitas atvejis, kurį kai kurios svetainės nusprendžia leisti.
Google-Extended	Kontroliuoja, ar „Google“ naudoja jūsų turinį „Gemini“/DI mokymui — atskira nuo „Googlebot“ paieškos indeksavimo	Norite likti „Google“ paieškoje, bet atsisakyti „Google“ DI mokymo — ši direktyva tiksliai tai padaro, nepakenkdama reitingams.
CCBot, Bytespider, anthropic-ai, ClaudeBot	„Common Crawl“ (maitina daugelį DI duomenų rinkinių), „ByteDance“, „Anthropic“ robotai	Ta pati logika kaip ir su GPTBot — blokuokite, jei nenorite, kad turinys patektų į DI mokymo rinkinius.

Dažniausiai užduodami klausimai

Ar robots.txt iš tikrųjų sustabdo DI nuo mano turinio naudojimo?

Tai veikia garbės sistemos principu — patikimų DI kompanijų robotai jį iš tikrųjų gerbia (todėl GPTBot, CCBot ir panašūs egzistuoja kaip atskiri, dokumentuoti vartotojo agentai būtent tam, kad svetainės galėtų atsisakyti). Tai nesustabdo robotų, kurie ignoruoja standartą, ir neturi jokios įtakos turiniui, jau nuskaitytam prieš jums pridedant blokavimą.

Ar DI robotų blokavimas pakenks mano „Google“/„Bing“ paieškos reitingui?

Ne — DI robotų blokavimo šablonas blokuoja tik nurodytus DI botus ir palieka wildcard „Allow: /“ visiems kitiems, tad „Googlebot“ ir „Bingbot“ tai neturi jokios įtakos.

Kur reikia įdėti robots.txt failą?

Jūsų domeno šaknyje, kad jis būtų pasiekiamas tiksliai adresu yourdomain.com/robots.txt — ne poaplankyje. Dauguma svetainių talpinimo paslaugų ir statinių svetainių generatorių turi tam skirtą public/root aplanką.

Kam skirta sitemap eilutė?

Ji nukreipia robotus į jūsų sitemap.xml, kuriame išvardyti visi indeksuojami puslapiai. Ji nebūtina, bet dažnai rekomenduojama — viena papildoma eilutė, galinti pagreitinti naujų puslapių atradimą.

Ar galiu kombinuoti individualius disallow kelius su DI blokavimo šablonu?

Taip — DI blokavimo šablonas pirmiausia prideda DI botų blokavimus, o tada pritaiko jūsų individualius disallow kelius (jei yra) pagal bendrą wildcard taisyklę, kuri vis dar leidžia paieškos sistemoms.