Yapay Zekâ Botları ve robots.txt: GPTBot, ClaudeBot

Kısaca

Yapay zekâ şirketleri web sitelerini farklı amaçlarla ziyaret eden ayrı botlar kullanır: bazıları model eğitimi için içerik toplar, bazıları yapay zekâ arama sonuçlarında gösterilecek siteleri bulur, bazıları da bir kullanıcı soru sorduğu anda sayfayı açar. robots.txt dosyanızda bu botları ayrı ayrı yönetebilirsiniz. En yaygın tercih, arama botlarına izin verip eğitim botlarını engellemektir; böylece siteniz ChatGPT, Claude veya Perplexity cevaplarında kaynak olarak görünmeye devam ederken içeriğiniz model eğitimine verilmez.

Bu rehberde OpenAI, Anthropic, Perplexity ve Google'ın botlarını, her birini engellemenin ne anlama geldiğini ve örnek robots.txt kurallarını şirketlerin kendi dokümantasyonuna dayanarak anlatıyoruz.

Üç tür yapay zekâ botu

TürNe yapar?Engellemenin sonucu
Eğitim botuGelecek yapay zekâ modellerinin eğitiminde kullanılabilecek içeriği toplarİçeriğiniz eğitim verisinden çıkarılır; yapay zekâ aramalarındaki görünürlüğünüz bundan doğrudan etkilenmez
Arama botuYapay zekâ arama sonuçlarında gösterilecek sayfaları bulur ve dizine eklerSiteniz o şirketin yapay zekâ aramasında kaynak olarak görünmez
Kullanıcı botuKullanıcı bir soru sorduğunda ya da bağlantı verdiğinde sayfayı o an açarKullanıcı isteği üzerine sayfanız okunamaz; bazı şirketler bu botlar için robots.txt'nin geçerli olmayabileceğini belirtir

Şirketlere göre botlar

ŞirketBotTürüNot
OpenAIOAI-SearchBotAramaEngellenirse site ChatGPT arama cevaplarında gösterilmez, yalnızca gezinme bağlantısı olarak çıkabilir
OpenAIGPTBotEğitimEngellemek, içeriğin temel modellerin eğitiminde kullanılmaması gerektiğini bildirir
OpenAIChatGPT-UserKullanıcıKullanıcı isteğiyle çalıştığı için robots.txt kuralları geçerli olmayabilir
OpenAIOAI-AdsBotReklamYalnızca ChatGPT'de reklam olarak gönderilen açılış sayfalarını ziyaret eder; topladığı veri eğitimde kullanılmaz
AnthropicClaudeBotEğitimEngellemek, sitenin gelecekteki içeriğinin eğitim verisinden çıkarılmasını sağlar
AnthropicClaude-SearchBotAramaEngellenirse Claude'un arama sonuçlarındaki görünürlüğünüz azalabilir
AnthropicClaude-UserKullanıcıEngellenirse kullanıcı isteğiyle sayfanız okunamaz
PerplexityPerplexityBotAramaPerplexity'ye göre model eğitimi için kullanılmaz
PerplexityPerplexity-UserKullanıcıPerplexity, bu botun robots.txt kurallarına genellikle uymadığını belirtir
GoogleGoogle-ExtendedDenetim adıGemini modellerinin eğitimini ve Gemini uygulamalarındaki kaynak kullanımını yönetir; Google Arama'yı etkilemez
GoogleGooglebotAramaAI Overviews ve AI Mode dahil Google Arama'nın tamamı için geçerlidir

OpenAI, OAI-SearchBot ve GPTBot ayarlarının birbirinden bağımsız olduğunu, iki bota da izin verilen sitelerde tek bir taramanın iki amaç için kullanılabileceğini ve robots.txt değişikliğinin arama sonuçlarına yansımasının yaklaşık 24 saat sürebileceğini belirtiyor. ChatGPT tarafının ayrıntıları için ChatGPT SEO yazımıza bakabilirsiniz.

Örnek robots.txt: aramaya izin ver, eğitimi engelle

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Bu örnekte Google-Extended'a bilerek yer verilmedi. Google-Extended'ı engellemek, Gemini modellerinin eğitimiyle birlikte Gemini uygulamalarında kaynak olarak kullanılmayı da kapatır. Gemini'de görünmek istiyorsanız onu engellemeyin. Ayrıntılar Gemini SEO yazımızda.

Örnek robots.txt: tüm yapay zekâ botlarına izin ver

robots.txt dosyanızda bir bot için hiç kural yoksa, o bot sitenizi taramakta serbesttir. Tüm yapay zekâ botlarına izin vermek için genellikle bir şey eklemeniz gerekmez. Yine de genel bir User-agent: * engeli kullanıyorsanız, izin vermek istediğiniz botlar için ayrı gruplar tanımlamanız gerekir. robots.txt yazım kurallarını robots.txt rehberimizde anlattık.

Yeni gelişme: genel "yapay zekâ eğitimi" tercihi

İnternet standartlarını belirleyen IETF bünyesindeki aipref çalışma grubu, site sahiplerinin "içeriğim yapay zekâ eğitiminde kullanılmasın" tercihini tek bir makine okunabilir sinyalle bildirmesini sağlayan bir taslak üzerinde çalışıyor:

  • Anthropic: 30 Ekim 2026'dan itibaren bu sinyali tanımaya başladığını duyurdu. robots.txt dosyanızda ClaudeBot'u adıyla anıyorsanız o kural, genel tercihten önce gelir.
  • Google: Bu ortak sinyali 2027'nin başında desteklemeyi planladığını belirtiyor.

Standart henüz taslak aşamasında olduğu için şimdilik her şirketin botunu adıyla yönetmek en güvenilir yoldur.

Bot erişimini engelleyen diğer katmanlar

  • CDN ve güvenlik duvarı: Cloudflare gibi hizmetlerde yapay zekâ botlarını engelleyen ayarlar bulunabilir. robots.txt'de izin verdiğiniz bir botu güvenlik duvarınız engelliyor olabilir. Ayarlar için Cloudflare ile performans ve güvenlik yazımıza bakabilirsiniz.
  • IP ile engelleme: Anthropic, IP engellemenin robots.txt dosyanızın okunmasını da engelleyebileceği için tercihlerinizi güvenilir biçimde iletmediğini belirtiyor. Tercihinizi robots.txt ile bildirin.
  • Sahte botlar: Kullanıcı aracısı adı kolayca taklit edilebilir. OpenAI, Anthropic ve Perplexity botlarının IP aralıklarını yayımlıyor; güvenlik duvarında izin verirken adı ve IP aralığını birlikte kontrol edin.

Botların sitenizi ziyaret edip etmediğini nasıl anlarsınız?

Sunucu loglarınızda yukarıdaki kullanıcı aracısı adlarını arayın ve isteklerin IP adreslerini şirketlerin yayımladığı listelerle karşılaştırın. Hangi botun hangi sayfaları ne sıklıkla okuduğunu görmek, robots.txt kararlarınızın etkisini ölçmenin en güvenilir yoludur. Log analizi için arama trafiği ve loglar yazımıza, Google'ın kendi botları için Google botları yazımıza bakabilirsiniz.

Hangi botlara izin vermelisiniz?

  • Yapay zekâ aramalarında görünmek istiyorsanız: Googlebot, OAI-SearchBot, Claude-SearchBot ve PerplexityBot'a izin verin; Google-Extended'ı engellemeyin.
  • İçeriğinizin eğitimde kullanılmasını istemiyorsanız: GPTBot ve ClaudeBot'u engelleyin. Google tarafında bunun Gemini'deki görünürlüğünüze de etki edeceğini unutmayın.
  • Ücretli ya da üyelikli içerik sunuyorsanız: Hangi bölümlerin kaynak olarak kullanılabileceğine karar verin ve ilgili dizinleri yollarıyla birlikte yönetin.

Yapay zekâ cevaplarında görünürlük stratejisinin genel çerçevesi için GEO rehberimize, llms.txt dosyasının bu tablodaki yeri için llms.txt nedir? yazımıza bakabilirsiniz.

Sıkça Sorulan Sorular

GPTBot'u engellersem ChatGPT'de görünmez miyim?

Hayır. OpenAI'a göre GPTBot ile OAI-SearchBot ayarları birbirinden bağımsızdır. GPTBot'u engelleyip OAI-SearchBot'a izin verirseniz siteniz ChatGPT arama cevaplarında görünmeye devam edebilir; yalnızca içeriğiniz eğitimde kullanılmaz.

Google-Extended'ı engellemek Google sıralamamı etkiler mi?

Hayır. Google, Google-Extended'ın Google Arama'daki yerinizi etkilemediğini ve sıralama sinyali olmadığını belirtiyor. Ancak içeriğiniz Gemini uygulamalarında kaynak olarak kullanılmaz.

llms.txt dosyası robots.txt'nin yerini tutar mı?

Hayır. Botların erişimini robots.txt yönetir. llms.txt resmî bir standart değildir ve erişim izni vermez ya da engellemez.

robots.txt'de yazdığım kurala bütün botlar uyar mı?

Büyük şirketlerin tarama ve eğitim botları uyduklarını belirtiyor. Ancak kullanıcı isteğiyle çalışan botların bir kısmı robots.txt'ye uymayabileceğini açıkça yazıyor; sahte botlar ise kurallara hiç uymaz. Kesin engelleme gerekiyorsa sunucu veya güvenlik duvarı düzeyinde önlem alınmalıdır.

Yaptığım değişiklik ne zaman etkili olur?

Botun robots.txt dosyanızı yeniden okumasına bağlıdır. OpenAI, arama sonuçlarındaki değişikliğin yaklaşık 24 saat sürebileceğini belirtiyor. Değişiklikten sonra sunucu loglarında botların davranışını kontrol edin.

Bu konuda yardım mı lazım?

Webtures ekibi sitenizi incelesin, size özel bir yol haritasıyla dönsün.

İletişime geçin