Kısaca
Yapay zekâ şirketleri web sitelerini farklı amaçlarla ziyaret eden ayrı botlar kullanır: bazıları model eğitimi için içerik toplar, bazıları yapay zekâ arama sonuçlarında gösterilecek siteleri bulur, bazıları da bir kullanıcı soru sorduğu anda sayfayı açar. robots.txt dosyanızda bu botları ayrı ayrı yönetebilirsiniz. En yaygın tercih, arama botlarına izin verip eğitim botlarını engellemektir; böylece siteniz ChatGPT, Claude veya Perplexity cevaplarında kaynak olarak görünmeye devam ederken içeriğiniz model eğitimine verilmez.
Bu rehberde OpenAI, Anthropic, Perplexity ve Google'ın botlarını, her birini engellemenin ne anlama geldiğini ve örnek robots.txt kurallarını şirketlerin kendi dokümantasyonuna dayanarak anlatıyoruz.
Üç tür yapay zekâ botu
| Tür | Ne yapar? | Engellemenin sonucu |
|---|---|---|
| Eğitim botu | Gelecek yapay zekâ modellerinin eğitiminde kullanılabilecek içeriği toplar | İçeriğiniz eğitim verisinden çıkarılır; yapay zekâ aramalarındaki görünürlüğünüz bundan doğrudan etkilenmez |
| Arama botu | Yapay zekâ arama sonuçlarında gösterilecek sayfaları bulur ve dizine ekler | Siteniz o şirketin yapay zekâ aramasında kaynak olarak görünmez |
| Kullanıcı botu | Kullanıcı bir soru sorduğunda ya da bağlantı verdiğinde sayfayı o an açar | Kullanıcı isteği üzerine sayfanız okunamaz; bazı şirketler bu botlar için robots.txt'nin geçerli olmayabileceğini belirtir |
Şirketlere göre botlar
| Şirket | Bot | Türü | Not |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Arama | Engellenirse site ChatGPT arama cevaplarında gösterilmez, yalnızca gezinme bağlantısı olarak çıkabilir |
| OpenAI | GPTBot | Eğitim | Engellemek, içeriğin temel modellerin eğitiminde kullanılmaması gerektiğini bildirir |
| OpenAI | ChatGPT-User | Kullanıcı | Kullanıcı isteğiyle çalıştığı için robots.txt kuralları geçerli olmayabilir |
| OpenAI | OAI-AdsBot | Reklam | Yalnızca ChatGPT'de reklam olarak gönderilen açılış sayfalarını ziyaret eder; topladığı veri eğitimde kullanılmaz |
| Anthropic | ClaudeBot | Eğitim | Engellemek, sitenin gelecekteki içeriğinin eğitim verisinden çıkarılmasını sağlar |
| Anthropic | Claude-SearchBot | Arama | Engellenirse Claude'un arama sonuçlarındaki görünürlüğünüz azalabilir |
| Anthropic | Claude-User | Kullanıcı | Engellenirse kullanıcı isteğiyle sayfanız okunamaz |
| Perplexity | PerplexityBot | Arama | Perplexity'ye göre model eğitimi için kullanılmaz |
| Perplexity | Perplexity-User | Kullanıcı | Perplexity, bu botun robots.txt kurallarına genellikle uymadığını belirtir |
| Google-Extended | Denetim adı | Gemini modellerinin eğitimini ve Gemini uygulamalarındaki kaynak kullanımını yönetir; Google Arama'yı etkilemez | |
| Googlebot | Arama | AI Overviews ve AI Mode dahil Google Arama'nın tamamı için geçerlidir |
OpenAI, OAI-SearchBot ve GPTBot ayarlarının birbirinden bağımsız olduğunu, iki bota da izin verilen sitelerde tek bir taramanın iki amaç için kullanılabileceğini ve robots.txt değişikliğinin arama sonuçlarına yansımasının yaklaşık 24 saat sürebileceğini belirtiyor. ChatGPT tarafının ayrıntıları için ChatGPT SEO yazımıza bakabilirsiniz.
Örnek robots.txt: aramaya izin ver, eğitimi engelle
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Bu örnekte Google-Extended'a bilerek yer verilmedi. Google-Extended'ı engellemek, Gemini modellerinin eğitimiyle birlikte Gemini uygulamalarında kaynak olarak kullanılmayı da kapatır. Gemini'de görünmek istiyorsanız onu engellemeyin. Ayrıntılar Gemini SEO yazımızda.
Örnek robots.txt: tüm yapay zekâ botlarına izin ver
robots.txt dosyanızda bir bot için hiç kural yoksa, o bot sitenizi taramakta serbesttir. Tüm yapay zekâ botlarına izin vermek için genellikle bir şey eklemeniz gerekmez. Yine de genel bir User-agent: * engeli kullanıyorsanız, izin vermek istediğiniz botlar için ayrı gruplar tanımlamanız gerekir. robots.txt yazım kurallarını robots.txt rehberimizde anlattık.
Yeni gelişme: genel "yapay zekâ eğitimi" tercihi
İnternet standartlarını belirleyen IETF bünyesindeki aipref çalışma grubu, site sahiplerinin "içeriğim yapay zekâ eğitiminde kullanılmasın" tercihini tek bir makine okunabilir sinyalle bildirmesini sağlayan bir taslak üzerinde çalışıyor:
- Anthropic: 30 Ekim 2026'dan itibaren bu sinyali tanımaya başladığını duyurdu. robots.txt dosyanızda ClaudeBot'u adıyla anıyorsanız o kural, genel tercihten önce gelir.
- Google: Bu ortak sinyali 2027'nin başında desteklemeyi planladığını belirtiyor.
Standart henüz taslak aşamasında olduğu için şimdilik her şirketin botunu adıyla yönetmek en güvenilir yoldur.
Bot erişimini engelleyen diğer katmanlar
- CDN ve güvenlik duvarı: Cloudflare gibi hizmetlerde yapay zekâ botlarını engelleyen ayarlar bulunabilir. robots.txt'de izin verdiğiniz bir botu güvenlik duvarınız engelliyor olabilir. Ayarlar için Cloudflare ile performans ve güvenlik yazımıza bakabilirsiniz.
- IP ile engelleme: Anthropic, IP engellemenin robots.txt dosyanızın okunmasını da engelleyebileceği için tercihlerinizi güvenilir biçimde iletmediğini belirtiyor. Tercihinizi robots.txt ile bildirin.
- Sahte botlar: Kullanıcı aracısı adı kolayca taklit edilebilir. OpenAI, Anthropic ve Perplexity botlarının IP aralıklarını yayımlıyor; güvenlik duvarında izin verirken adı ve IP aralığını birlikte kontrol edin.
Botların sitenizi ziyaret edip etmediğini nasıl anlarsınız?
Sunucu loglarınızda yukarıdaki kullanıcı aracısı adlarını arayın ve isteklerin IP adreslerini şirketlerin yayımladığı listelerle karşılaştırın. Hangi botun hangi sayfaları ne sıklıkla okuduğunu görmek, robots.txt kararlarınızın etkisini ölçmenin en güvenilir yoludur. Log analizi için arama trafiği ve loglar yazımıza, Google'ın kendi botları için Google botları yazımıza bakabilirsiniz.
Hangi botlara izin vermelisiniz?
- Yapay zekâ aramalarında görünmek istiyorsanız: Googlebot, OAI-SearchBot, Claude-SearchBot ve PerplexityBot'a izin verin; Google-Extended'ı engellemeyin.
- İçeriğinizin eğitimde kullanılmasını istemiyorsanız: GPTBot ve ClaudeBot'u engelleyin. Google tarafında bunun Gemini'deki görünürlüğünüze de etki edeceğini unutmayın.
- Ücretli ya da üyelikli içerik sunuyorsanız: Hangi bölümlerin kaynak olarak kullanılabileceğine karar verin ve ilgili dizinleri yollarıyla birlikte yönetin.
Yapay zekâ cevaplarında görünürlük stratejisinin genel çerçevesi için GEO rehberimize, llms.txt dosyasının bu tablodaki yeri için llms.txt nedir? yazımıza bakabilirsiniz.
Sıkça Sorulan Sorular
GPTBot'u engellersem ChatGPT'de görünmez miyim?
Hayır. OpenAI'a göre GPTBot ile OAI-SearchBot ayarları birbirinden bağımsızdır. GPTBot'u engelleyip OAI-SearchBot'a izin verirseniz siteniz ChatGPT arama cevaplarında görünmeye devam edebilir; yalnızca içeriğiniz eğitimde kullanılmaz.
Google-Extended'ı engellemek Google sıralamamı etkiler mi?
Hayır. Google, Google-Extended'ın Google Arama'daki yerinizi etkilemediğini ve sıralama sinyali olmadığını belirtiyor. Ancak içeriğiniz Gemini uygulamalarında kaynak olarak kullanılmaz.
llms.txt dosyası robots.txt'nin yerini tutar mı?
Hayır. Botların erişimini robots.txt yönetir. llms.txt resmî bir standart değildir ve erişim izni vermez ya da engellemez.
robots.txt'de yazdığım kurala bütün botlar uyar mı?
Büyük şirketlerin tarama ve eğitim botları uyduklarını belirtiyor. Ancak kullanıcı isteğiyle çalışan botların bir kısmı robots.txt'ye uymayabileceğini açıkça yazıyor; sahte botlar ise kurallara hiç uymaz. Kesin engelleme gerekiyorsa sunucu veya güvenlik duvarı düzeyinde önlem alınmalıdır.
Yaptığım değişiklik ne zaman etkili olur?
Botun robots.txt dosyanızı yeniden okumasına bağlıdır. OpenAI, arama sonuçlarındaki değişikliğin yaklaşık 24 saat sürebileceğini belirtiyor. Değişiklikten sonra sunucu loglarında botların davranışını kontrol edin.
SEO’ya yeni mi başlıyorsunuz? Temelden ileri seviyeye tüm konuları SEO nedir? rehberimizde sırasıyla bulabilirsiniz.
Bu konuda yardım mı lazım?
Webtures ekibi sitenizi incelesin, size özel bir yol haritasıyla dönsün.