SEO Fiyat Hesaplama SEO ROI
Robots.txt Yapımı

Robots.txt Yapımı

Robots.txt dosyaları hakkında bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır. Şimdi biz de Robots.txt yapımını beraberce öğrenelim.

SEO Hocası Blog her hafta e-postanızda. Ücretsiz abone olmak için tıklayın.

Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Örnek 1:
User-agent: *
Allow: /

Kodlarımızı yorumlayalım. 1. satırdaki kodumuz da bakınız Google Botları’nın isimleri gelecekti fakat “*” işaretini gördünüz. Bunun anlamı, siteniz tüm Google Botları’nca istisnasız indexlenmesine izin vermişsiniz demektir.

 

Örnek 2:
User-agent: *
Disallow: /

Gördüğünüz gibi birinci satırdaki user-agent kodumuzun anlamı tüm Google Botları’na sitenizi indexlemesi için izin verilmesiydi. Fakat ikinci satırda “/” böyle bir karakter görüyorsunuz. Bu karakterin anlamı site üzerinde tüm dosyaların taranmaması isteniyor.

Yani bu Robots.txt kod bütününden de anlayacağımız şey, bütün Google Botları’nca sitemizin hiçbir dosyası indexlenmeyecek, taranmayacak.

Örnek 2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Bütün google botları, bu 4 dosyayı indexlemeyecektir.

Örnek 3:
User-agent: DeepCrawl
Disallow: /private/

DeepCrawl, bir google botudur. Görevi ise; sitenizi uzun aralıklarla ziyaret edip, indexlenmesi için gerekli bilgileri toplar. Bu kodların anlamı ise, ismi verilen botun ilgili private klasörünü indexlememeli.

Örnek 4:
User-agent: *
Disallow: /directory/dosya.html

Tüm botlar, ilgili dosyayı indexlemeyecektir. Ama directory dizinindeki dosya.html hariç diğer tüm dosyaları tarar ve indexler.

Örnek 5:
User-agent: *
Allow: /dosya1/site.html
Disallow: /dosya1/

Bu kodların anlamı ise, tüm Google Botları dosya dizininde bulunan site.html dosyası hariç diğer tüm dosyaları taramaz ve indexlemeyecektir.

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

 

Bir önceki yazımız olan Google Webmaster Araçları başlıklı makalemizde google sitemap yollamak, google web yöneticisi araçları ve performans hakkında bilgiler verilmektedir.

Robots.txt Yapımı için Yorumlar

  • Emrah
    Emrah 18 Haziran 2017, 18:10

    Merhaba

    User-agent: *
    Allow: /index.html
    Disallow: /

    kodu sadece anasayfamı indexletmek için yeterlimidir ?

  • Erhan Yıldız
    Erhan Yıldız 4 Şubat 2017, 10:36

    siteadi.com/kategori-adi/icerik-sayfasi.html/attachment/gorsel-ismi şeklinde indexlenen URL’ler var.

    Robots.txt üzerinden

    Disallow: /attachment/ şeklinde düzenledim fakat index almaya devam ediyor. Burada nasıl bir yol izlemeliyim

  • sedat kmc
    Sedat Kmc 9 Ocak 2017, 10:46

    Teşekkürler elinize sağlık.

  • adem SARIKAYA
    Adem Sarikaya 19 Ocak 2015, 16:44

    hocam çok güzel anlatmışsınız oluşumu, yapımı da birazcıkta acemi kullanıcıları düşünseniz. Ben şimdi sizin sitenizden analiz ettim. benim sitemde yokmuş robot.txt ben bunu siteme nasıl uygulayacağım.

  • Muhammed
    Muhammed 30 Aralık 2014, 23:21

    Merhaba hocam hem burdadan hemde faceden yazıyorum lakın sızden cewap alamadım ben bu wordpres ıcın verdıgınız kodları kullandım hem not defterı oalrak hemde dreamwewar olarak 4 kez attım public.htlm ye lakın bu dosyalar nereede onları bulamadım nereye attı nerde goremıyorum ne yapmam gerekıyor saygılarımla teşekkurler

    User-agent: Googlebot

    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /wp-admin/
    Disallow: /archives/
    Disallow: /index.php
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: */feed/
    Disallow: */trackback/

    User-agent: Googlebot-Image
    Disallow: /wp-includes/

    User-agent: ia_archiver
    Disallow: /

    User-agent: duggmirror
    Disallow: /

    kodlar bunlar hocam sızın yazdıgınız kodlar sizden yardım beklıyorum
    ama dosyayı bulamadım nerede oldugunu sımdı sıtem ındexlenır mı yoksa hata mı var

  • Muhammed
    Muhammed 28 Aralık 2014, 13:21

    Bu sitenin robots.txt dosyası olduğundan, bu sonuç için bir açıklama bulunmamaktadır. Daha fazla bilgi edinin.

    Benım googlede aramalarda bu sorun çıkıyor bu yazdığınız kodlardan hangısnı kullanmamız gerekır botlara nelerı taratmamış nelerıde taratmamamıs gerekır adım atmadan once yanlış yapmak ıstemedıgımden yazıyorum saygılarımla

  • orhan
    Orhan 24 Kasım 2014, 13:37

    İnsallh duzelir çok yararli bisey olur çünkü siteye giremiyorum neden oldu anlamadim bu site düzeltir inşallah gitmek istediğim yere olmazsa çok uzulurum

  • Kemal Tolga Kürüm
    Kemal Tolga Kürüm 22 Ekim 2014, 10:22

    Çok yararlı ve açıklayıcı bir konu olmuş bu konuya ilgi duyan herkes için çok önemli bir makale emeğiniz için çok teşekürler.

  • Mehmet
    Mehmet 24 Haziran 2014, 00:33

    Merhaba,

    En iyi wordpress kodlarını vemişsiniz teşekkürler ama sizin neden kullanmadığınızı merak ettim.

  • İbrahim Candaş Pehlivan
    Ibrahim Candaş Pehlivan 17 Haziran 2014, 00:14

    Tşk Ederim hocam güzel aciklamisin robot.txt nin ilkez ne işe yaradiğini öğrendim inanın ve robot u direk ana dizine attim sorun cikmaz dimi

  • Muhammed İkbal Molla Ametalı
    Muhammed Ikbal Molla Ametalı 30 Mayıs 2014, 20:00

    Vermiş olduğunuz bilgiler için teşekkürler, ben robot.txt yi ayarladım fakat hocam oluşturduğuımuz robot.txt yi nereye atacağız onu bilmiyorum?

  • murat durgut
    Murat Durgut 13 Mayıs 2014, 10:48

    Merhaba kopekburada.org sitesi robots.txt dosyası olduğu halde yok görünüyor yardımcı olursanız sevinirim . robots.txt dosyası
    /public_html içinde robots.txt olarak duruyor içeriği şu şekilde

    User-agent: Googlebot
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /wp-admin/
    Disallow: /archives/
    Disallow: /index.php
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: */feed/
    Disallow: */trackback/

    User-agent: Googlebot-Image
    Disallow: /wp-includes/

    User-agent: ia_archiver
    Disallow: /

    User-agent: duggmirror
    Disallow: /

    chmod değeri 644 tip olarak metin belgesi görünüyor lütfen yardım.

  • Ömer Faruk Kul
    ömer Faruk Kul 13 Mart 2014, 18:51

    DataLife Engine (DLE) için de en iyi robot.txt kodlarını vereyim DLE kullananların işine yarayabilir;

    User-agent: *
    Disallow: /engine/go.php
    Disallow: /engine/download.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search

  • Kürşat Kırtaş
    Kürşat Kırtaş 8 Kasım 2013, 10:45

    Çok teşekkür etmem gerekir.spesifik olarak,wordpress e verdiğiniz örnek için.saygılar

  • Ali Furkan Askın
    Ali Furkan Askın 29 Eylül 2013, 01:04

    Merhaba Yazı için Teşekkürler.Ben bunu blogger için kullanmak istiyorum.robots ile blogger arama uzantıs search/label kullanmak istemiyorum.sadece com/yayın ismi olarak kullanmak istiyorum.

  • Nejat Altınoklu
    Nejat Altınoklu 27 Ağustos 2013, 08:10

    Merhaba, hazırladığım bir stemap.xml dosyasının içindekileri indexlememesi gibi bir şey yapabilir miyiz?

  • ali
    Ali 31 Temmuz 2013, 08:05

    merhabalar benim bir sorunum var ben html den sonra kini engellemek istiyorum örnek.

    wordpressle galeri olarak eklediğim resimler site.com/konu.html/resimismi/ oluşuyor. ben bunu googleden nasıl engellerim indexlenmemesi için

    site.com/konu.html/ bundan sonrasını indexlenmesin ?

  • Ali
    Ali 10 Mayıs 2013, 21:34

    Hocam forumları ve alakalı yazıları araştırdığım halde kesin bir bigliye ulaşamadım. Benim yapmak istediğim sadece bir yada iki tane arama motoruna izin vermek. Mesela ben Bing yada Yahoo arama motorlarının sitemi indexlemesini istemiyorum. Robot.txt dosyası üzerinden sadece bir yada iki tane arama motorunu engelleyemez miyim ?

  • Ceyhun Kadir Korkmazcan
    Ceyhun Kadir Korkmazcan 16 Mart 2013, 04:08

    Selamun aleykum bilgiler için teşekkürler . en iyi wordpress robots.txt kullandım halde sitem 2 günde bir index aliyor ve birçok çalışma yapiyorum imleme vs.. ama neyazikki önüne geçemedim bu konu hakkında bilgi verirmisiniz.

  • Ömer Okan Boylu
    ömer Okan Boylu 22 Şubat 2013, 13:50

    Gerçekten çok işe yaradı hocam.Çok anlaşılır ve net bir açıklama yapmışsınız.

  • Egehan Boy
    Egehan Boy 15 Aralık 2012, 00:41

    bazen bu kodları verdiğimizde indexleme hatası veriyor 404 bunu nasıl halledicez

  • Köker Berk
    Köker Berk 26 Kasım 2012, 00:18

    SMF forumları için de “iyileştirilmiş” ve SEO için en ideal kodları yayınlayabilir misiniz? Ve her SMF formu için takip edilmeyecek dosya isimleri aynı mı? Çünkü internette smf için arattığımda birçok farklı dosya isimleri geliyor. Bir de benim sitemde hem SMF hem de wiki kurulu. Google indeksinde formun iletisinin altında formun değil wiki kaynak’ın “Üye ol” linki çıkıyor. Ziyaretçiler de forma üye olduğunu zannedip wiki kaynaka üye oluyor. Wiki kaynak’ın login ve register sayfalarının indekslenmemesini ama smf formunun “bağlan” ve “üye ol” sayfalarının indekslenmesini nasıl sağlarım?

  • Hüseyin Özbir
    Hüseyin özbir 6 Kasım 2012, 15:01

    Son zamanlarda okuduğum SEO ile ilgili makaleler arasında anlaşılması en kolay ve net olanı.
    Teşekkürler.

  • murat türkan
    Murat Türkan 2 Kasım 2012, 10:50

    / işareti konduktan sonra kök dizindeki klasör ismini yazmadan direk dosya ismini mi yazacağız.

    mesala
    Disallow: /dosya1/ddd.html ile Disallow: /ddd.html aynı ifademidir.Yoksa yolu mutlaka bildirmemiz mi gerekiyor

  • Güven Kontacı
    Güven Kontacı 31 Ekim 2012, 22:37

    Peki robots.txt dosyasını nasıl açıp nereye koyacağız. Yani nasıl kullanacağız.

  • Murat
    Murat 5 Eylül 2012, 09:10

    Merhaba. google robots.txt dosyasını ne kadar süre içerisinde güncelliyor bu konuda bilgi verebilir misiniz?

  • Mehmet Koyunsev
    Mehmet Koyunsev 22 Ağustos 2012, 21:40

    Öncelikle paylaşımınız için teşekkürler;
    Arama motorlarına indexleme kısıtlaması getirmemenin bir zararı olurmu peki?

  • Özcan YOLCU
    özcan Yolcu 15 Ağustos 2012, 04:43

    Merhabalar. Sitem yaklaşık 2 haftadır indexlemede sorun yaşıyor. Google webmaster paneline şu şekilde bir mesaj gelmiş :
    Over the last 24 hours, Googlebot encountered 29 errors while attempting to access your robots.txt. To ensure that we didn’t crawl any pages listed in that file, we postponed our crawl. Your site’s overall robots.txt error rate is 11.4%.

    You can see more details about these errors in Webmaster Tools.

    Ne yapmam gerekli anlayamadım. Yardımcı olabilir misiniz?

  • İbrahim Engin Yüzbaşıoğlu Gür
    Ibrahim Engin Yüzbaşıoğlu Gür 6 Ağustos 2012, 03:52

    Konuyu inceledim paylaşım için teşekkürler yanlız yorumları inceldigimde bir yanlış anlaşılma oldugunun kanatin vardım robots.txt dosyasını şu şeklide yapma ; (User-agent: * Disallow) bu şeklide yapmak sitemde hiçbirşeye izin vermiyorum demek dogru olanı şu şeklide ( User-agent: * Allow ) Bu şeklide bir kanıya vardım çok araştırdıktan sonra şuanda da 1 hafta oldu gidişat güzel denediğim sitede Benim düşüncemde bu 🙂

  • Erem Günel
    Erem Günel 3 Ağustos 2012, 00:20

    Teşekkürler. Ben şunu soracağım robot.txt dosyası yoksa bir sitede bu çok büyük dezavantaj mıdır? Yani ne zararı var olmamasının?

  • Egehan Mirzanlı
    Egehan Mirzanlı 14 Mayıs 2012, 21:19

    google web araçlarına kaydolmuştum nasıl olduysa engellenen urller bölümünde blogumun adresi var . robot sayfamı engelliyor ve url m aramalarda her zaman başta çıkarken artık gogole tarafından görülmüyor robot.txt i nasıl kaldırabilirim..

  • Mahmut Bilal Yelegen
    Mahmut Bilal Yelegen 27 Nisan 2011, 23:51

    Yapılması gereken bence sadece istenmeyen veya indexlemesini istemediğiniz dosyaları engellemek geri kalanı ise normal bırakmak engellememek. 🙂 Aslında en idali sizinde yaptığınız gibi hocam. Ancak ek olarak sitemap ekleme ve admin panel engellenmesi gerekir diye düşünüyorum 🙂 İyi Çalışmalar.

  • Muhammed Ali Duran Rauf
    Muhammed Ali Duran Rauf 18 Şubat 2011, 22:18

    Merhabalar,

    Bilgilendirme için teşekkürler ama dikkatimi çeken bir nokta oldu. O da “ia_archiver”, yanlış bilmiyorsam ve ki denemesini de yaptım bu alexa için çalışan bir örümcektir. Eğer bunu engellerseniz ki ben iki üç denedim 100 lerce “K” gerilemiş oldu sitem 🙂 Kısacası yazılan hazır şeyleri iyi araştırmak gerekir. Burada yazacağımız bir çok zararlı örümcek tarayıcı vb şeyler var onlar OK engelensin ama zararı düşünüldüğü kadar yararı olan şeyler de var.

    İyi çalışmalar dilerim.

  • Deniz Dilay Aksoy
    Deniz Dilay Aksoy 16 Ocak 2011, 19:30

    Bencede fazla kurcalamanın anlamı yok bırakın indexlensin derim.

    User-agent: *
    Disallow

  • Ekin Esme Babacan
    Ekin Esme Babacan 5 Kasım 2010, 14:22

    bence robot.txt dosyasını fazla kurcalamayın indexler burdan yola çıkıyor çünkü

    User-agent: *
    Disallow

    üstteki şekilde yapın gitsin gizli ne olabilirki sitenizde 😀 olanlarda zaten şifrelidir yada izinleri genele kapalıdır.

  • Alim Misoğlu
    Alim Misoğlu 12 Ekim 2010, 16:16

    teşekkürler.. aynı şekilde archive ve feed kısımları da engellenmemesi gerektiğini düşünüyorum..
    Acaba bilinmedik bişi varmı diye özellikle sormak istedim…

    teşekkürler

  • Kaan Gülten
    Kaan Gülten 12 Ekim 2010, 10:59

    @Burak, @manyak, tag ve category sayfalarının disallow olarak gösterilmesi yanlıştır. Yazar arkadaş büyük ihtimalle bir siteyi referans alarak böyle bir sonuca verdi. Yazıda gerekli düzeltme yapılmıştır.

  • Alp Dora Paksoy
    Alp Dora Paksoy 12 Ekim 2010, 10:10

    Burak arkadaşın sorduğunu bende merak ediyorum. şu anda tam araştırdığım konu bu…
    hocam bu konuda bilgilendirirseniz memnun olurum. Özellikle mail atmanızı rica ederim bu konuyla ilgili…

  • Emre KARABULUT
    Emre Karabulut 20 Ağustos 2010, 17:43

    Teşekkürler.Robots.txt dosyasını wordpress e uygun şekilde ayarladım sayenizde.

  • Burak
    Burak 18 Temmuz 2010, 11:50

    Hocam öncelikle konunuz için teşekkür ederim.Benim birkaç blogum var ve ben tag category page gibi sayfaları indexletiyorum.Çünkü oradanda bayağı trafik alıyorum.burada Disallow: /page/
    Disallow: /tag/
    Disallow: /category/ demişsiniz bu şekilde yaptığımız zaman bu sayfalar indexlenmiyor olacak ve benim hit kaybım olacak.Sizcede mantıklımı bunları indexletmemem? Cevabınızı bekliyorum teşekkür ederim.

  • Kuntay Yiğit Denizgünü
    Kuntay Yiğit Denizgünü 8 Haziran 2010, 22:00

    User-agent: Googlebot

    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /wp-admin/
    Disallow: /feed/
    Disallow: /archives/
    Disallow: /index.php
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: */feed/
    Disallow: */trackback/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /category/

    User-agent: Googlebot-Image
    Disallow: /wp-includes/

    User-agent: ia_archiver
    Disallow: /

    User-agent: duggmirror
    Disallow: /

    aynısını deniyorum 2 hafta içinde sonucu yazıcam şu anda tr indexim

    Yaklaşık 252 sonuç (0,27 saniye)

    ziyaretci ortalama 90-120 arası iki hafta sonra bakalım:)

  • İbrahim ÇAKICI
    Ibrahim çakici 24 Ocak 2010, 21:51

    Evet sitemap’i bu yollada tanıtmış oluruz. Ama bu yöntemi blog siteleri için değilde daha çok forum siteleri için kullanıyorum ben.

  • Muhammed Sefa Pakdemirli
    Muhammed Sefa Pakdemirli 23 Ocak 2010, 14:33

    Gerçekten SEO için önemli kriterlerden bir tanesi. Bu detaylı paylaşımın için teşekkürler.

Robots.txt Yapımı için Cevap Yaz

SEO Hocası Instagram
SEO Hocası Instagram @seohocasi
SEO Hocası Türkiye'nin en büyük SEO Komünitesi 👍🏼
X