CodeKitHubKas ir šis rīks?
robots.txt ir vienkāršs teksta fails tavas vietnes saknē, kas informē tīmekļa robotus, kurām vietnes daļām tie drīkst vai nedrīkst piekļūt. Meklētājprogrammas, piemēram, Google un Bing, to ievēro indeksācijai; 2026. gadā tas ir arī standarta veids, kā vietnes atsakās no sava satura izmantošanas AI modeļu apmācībai, izmantojot konkrētus robotu nosaukumus, piemēram, GPTBot, CCBot un Google-Extended.
Precīzas sintakses ievērošana ir svarīga — nepareizs Disallow ceļš var nejauši bloķēt meklētājprogrammas no visas tavas vietnes, vai nepareizi novietots AI bloķēšanas noteikums var neko īsti nebloķēt. Šis ģenerators izveido sintaktiski pareizu izvadi katram scenārijam.
Pēc gandrīz trim gadu desmitiem kā neformāla konvencija, kas datēta ar 1994. gadu, robotu izslēgšanas protokols beidzot tika standartizēts kā RFC 9309 2022. gadā — noteikumi, ko izveido šis ģenerators (User-agent, Disallow, Allow, plus Sitemap paplašinājums), seko šai specifikācijai.
Kāpēc to izmantot?
- Speciāls AI robotu bloķēšanas iestatījums, kas aptver GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider un anthropic-ai — vienlaikus skaidri saglabājot meklētājprogrammu piekļuvi.
- Pielāgoti bloķēšanas ceļi saturam, ko vēlies paslēpt no visiem robotiem.
- Vietnes kartes URL lauks — neliels papildinājums, kas palīdz meklētājprogrammām ātrāk atrast tavas lapas.
- Pareiza sintakse katru reizi — nav riska, ka nejauša drukas kļūda nobloķē visu tavu vietni.
- Bezmaksas, tūlītēja, lejupielādē failu tieši vai kopē tekstu.
Kā to lietot
- Izvēlies iestatījumu: atļaut visu, bloķēt visu vai bloķēt tikai AI robotus.
- Pēc izvēles pievieno pielāgotus bloķētus ceļus, katru savā rindā (piem., /admin/).
- Pēc izvēles pievieno savas vietnes kartes URL.
- Noklikšķini Kopēt vai Lejupielādēt, tad augšupielādē failu savas vietnes saknē kā /robots.txt.
Piemērs
Ievade
Iestatījums: bloķēt AI robotus, saglabāt meklētājprogrammas. Vietnes karte: https://example.com/sitemap.xmlIzvade
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlKatrs AI robots saņem savu skaidru bloķēšanas noteikumu, kamēr vispārīgais noteikums beigās saglabā normālu meklētājprogrammu piekļuvi atvērtu.
Vai vajadzētu bloķēt šo robotu?
Ne visi roboti kalpo vienam nolūkam — nepareiza bloķēšana var atgriezt meklēšanas plūsmu, nevis vienkārši atteikties no AI apmācības.
| Robots | Ko tas dara | Bloķē to, ja… |
|---|---|---|
| Googlebot, Bingbot | Indeksē tavu vietni meklēšanas rezultātiem | Nekad — šo bloķēšana pilnībā izņem tevi no Google/Bing meklēšanas. |
| GPTBot, ChatGPT-User | OpenAI roboti — GPTBot apmāca modeļus, ChatGPT-User atgūst lapas, ko lietotājs lūdzis ChatGPT pārlūkot | Nevēlies, lai tavs saturs tiktu izmantots AI apmācībai, bet ņem vērā, ka ChatGPT-User pārlūkošana lapā, kuru lietotājs sasaistījis, ir cits gadījums, ko dažas vietnes izvēlas atļaut. |
| Google-Extended | Kontrolē, vai Google izmanto tavu saturu Gemini/AI apmācībai — atsevišķi no Googlebot meklēšanas indeksācijas | Vēlies palikt Google meklēšanā, bet atteikties no Google AI apmācības — šī direktīva tieši to arī izdara, nekaitējot reitingiem. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (pabaro daudzas AI datu kopas), ByteDance, Anthropic roboti | Tāda pati loģika kā GPTBot — bloķē, ja nevēlies saturu AI apmācības kopās. |
Biežāk uzdotie jautājumi
Vai robots.txt patiešām apstādina AI no mana satura izmantošanas?
Tas darbojas uz goda sistēmas pamata — cienījamu AI uzņēmumu roboti to ievēro (tāpēc GPTBot, CCBot un citi eksistē kā atsevišķi, dokumentēti lietotāja aģenti tieši tāpēc, lai vietnes varētu atteikties). Tas neapstādina robotus, kas ignorē standartu, un tam nav ietekmes uz saturu, kas jau savākts pirms bloķēšanas pievienošanas.
Vai AI robotu bloķēšana kaitēs manam Google/Bing meklēšanas reitingam?
Nē — AI robotu iestatījums bloķē tikai nosauktos AI robotus un atstāj vispārīgu "Allow: /" visiem pārējiem, tāpēc Googlebot un Bingbot netiek ietekmēti.
Kur man jāievieto robots.txt fails?
Tavas domēna saknē, lai tas būtu pieejams tieši yourdomain.com/robots.txt — nevis apakšmapē. Lielākajai daļai vietņu hostinga un statisko vietņu ģeneratoru ir šim paredzēta public/root mape.
Kam kalpo vietnes kartes rindiņa?
Tā norāda robotiem uz tavu sitemap.xml, kurā uzskaitītas visas tavas indeksējamās lapas. Tā ir pēc izvēles, bet parasti ieteicama — viena papildu rindiņa, kas var paātrināt jaunu lapu atrašanu.
Vai varu apvienot pielāgotus bloķēšanas ceļus ar AI bloķēšanas iestatījumu?
Jā — AI bloķēšanas iestatījums vispirms pievieno AI robotu bloķēšanu, tad piemēro tavus pielāgotos bloķēšanas ceļus (ja tādi ir) zem vispārīgā noteikuma, kas joprojām atļauj meklētājprogrammas.