Robots.txt Oluşturucu

Saniyeler içinde geçerli bir robots.txt dosyası oluşturun: bir ön ayardan başlayın (her şeyi izin ver, her şeyi engelle veya Google/Bing’in indekslemesini sürdürürken yapay zeka eğitim tarayıcılarını özel olarak engelle), kendi engellenecek yollarınızı ve site haritası URL’nizi ekleyin, ardından dosyayı kopyalayın veya indirin.

Bu Araç Nedir?

robots.txt, sitenizin kök dizininde bulunan ve web tarayıcılarına sitenin hangi bölümlerine erişebileceklerini veya erişemeyeceklerini belirten bir düz metin dosyasıdır. Google ve Bing gibi arama motorları, indeksleme sırasında bu dosyaya uyar; 2026 yılında ise bu dosya, sitelerin GPTBot, CCBot ve Google-Extended gibi belirli bot adları aracılığıyla içeriklerinin yapay zeka modellerinin eğitilmesinde kullanılmasını engellemek için kullandıkları standart yöntemdir.

Sözdizimini tam olarak doğru kullanmak önemlidir — yanlış bir Disallow yolu, arama motorlarının yanlışlıkla sitenizin tamamına erişimini engelleyebilir ya da yanlış yerleştirilmiş bir yapay zeka engelleme kuralı, aslında hiçbir şeyi engelleyemeyebilir. Bu oluşturucu, her senaryo için sözdizimi açısından doğru çıktılar üretir.

Neden Kullanmalısınız?

GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider ve anthropic-ai’yi kapsayan, yapay zeka taranma engellemeye özel bir ön ayar — arama motorlarına erişimi ise açıkça korur.
Tüm tarayıcılardan gizlemek istediğiniz içerik için özel yasaklama yolları belirleyin.
Site Haritası URL alanı — arama motorlarının sayfalarınızı daha hızlı bulmasına yardımcı olan küçük bir ekleme.
Her seferinde doğru sözdizimi — yanlışlıkla yapılan bir yazım hatasının tüm sitenizi engelleme riski yok.
Ücretsiz, anında; dosyayı doğrudan indirin veya metni kopyalayın.

Nasıl Kullanılır

Bir ön ayar seçin: tümüne izin ver, tümünü engelle veya yalnızca AI tarayıcılarını engelle.
İsteğe bağlı olarak, her satıra bir tane olmak üzere izin verilmeyen özel yolları ekleyin (örn. /admin/).
İsterseniz site haritası URL'nizi ekleyin.
"Kopyala" veya "İndir" seçeneğine tıklayın, ardından dosyayı sitenizin kök dizinine /robots.txt adıyla yükleyin.

Örnek

Giriş

Preset: Block AI crawlers, keep search engines. Sitemap: https://example.com/sitemap.xml

Çıkış

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

...

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Her bir AI tarayıcısına kendine ait açık bir blok ayrılırken, sondaki joker kural sayesinde normal arama motorlarının erişimi açık tutulur.

Bu tarayıcıyı engellemeli misiniz?

Tüm botlar aynı amaca hizmet etmez — yanlış botu engellemek, yapay zeka eğitiminden sadece çıkmak yerine arama trafiğini kesintiye uğratabilir.

Tarayıcı	Ne işe yarar?	Şu durumlarda engelleyin…
Googlebot, Bingbot	Sitenizi arama sonuçları için indeksler	Asla — bunları engellemek, sizi Google/Bing aramalarından tamamen çıkarır.
GPTBot, ChatGPT-User	OpenAI’nin tarayıcıları — GPTBot modelleri eğitir, ChatGPT-User ise kullanıcının ChatGPT’den taramasını istediği sayfaları getirir	İçeriğinizin yapay zeka eğitimi için kullanılmasını istemiyorsunuz, ancak bir kullanıcının paylaştığı bir sayfayı ChatGPT-User'ın görüntülemesi, bazı sitelerin izin vermeyi tercih ettiği farklı bir durumdur.
Google-Extended	Google'ın içeriğinizi Gemini/AI eğitimi için kullanıp kullanmayacağını belirler — Googlebot'un arama indekslemesinden ayrı olarak	Google Arama'da kalmak, ancak Google'ın yapay zeka eğitiminden çıkmak istiyorsunuz — bu ayar, sıralamalarınızı etkilemeden tam da bunu sağlar.
CCBot, Bytespider, anthropic-ai, ClaudeBot	Common Crawl (birçok yapay zeka veri setini besler), ByteDance, Anthropic’in tarayıcıları	GPTBot ile aynı mantık — AI eğitim kümelerinde yer almasını istemediğiniz içerikleri engelleyin.

Sıkça Sorulan Sorular

robots.txt dosyası, yapay zekanın içeriğimi kullanmasını gerçekten engelliyor mu?

Bu sistem bir güven esasına dayanır — saygın yapay zeka şirketlerinin tarayıcıları bu standarda uymaktadır (bu nedenle GPTBot, CCBot vb. tarayıcılar, sitelerin bu standardı devre dışı bırakabilmesi için özel olarak ayrı ve belgelenmiş kullanıcı aracıları olarak mevcuttur). Standardı göz ardı eden tarayıcıları engellemez ve engellemeyi eklemeden önce zaten alınmış olan içerik üzerinde hiçbir etkisi yoktur.

AI tarayıcılarını engellemek, Google/Bing arama sıralamamı olumsuz etkiler mi?

Hayır — bu AI tarayıcı ön ayarı, yalnızca adı belirtilen AI botlarını özel olarak engeller ve diğer herkes için "Allow: /" şeklinde bir joker karakter bırakır; dolayısıyla Googlebot ve Bingbot bundan etkilenmez.

robots.txt dosyasını nereye koymalıyım?

Etki alanınızın kök dizininde bulunmalıdır; böylece tam olarak yourdomain.com/robots.txt adresinden erişilebilir olur — alt klasörde değil. Çoğu web sitesi barındırma hizmeti ve statik site oluşturucu, bunun için ayrılmış bir public/root klasörüne sahiptir.

Site haritası satırı ne işe yarar?

Bu, tarayıcıları, indekslenebilir tüm sayfalarınızı listeleyen sitemap.xml dosyanıza yönlendirir. Bu isteğe bağlıdır ancak genellikle tavsiye edilir — yeni sayfaların keşfedilme hızını artırabilecek tek bir satırlık ek işlemdir.

Özel engelleme yollarını AI engelleme ön ayarıyla birleştirebilir miyim?

Evet — AI engelleme ön ayarı, önce AI bot engellemelerini ekler, ardından arama motorlarına erişim izni veren genel joker kuralı kapsamında, varsa özel engelleme yollarınızı uygular.