Robots.txt Yapımı

Robots.txt Yapımı

Robots.txt dosyaları hakkında bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır. Şimdi biz de Robots.txt yapımını beraberce öğrenelim.

Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Örnek 1:
User-agent: *
Allow: /

Kodlarımızı yorumlayalım. 1. satırdaki kodumuz da bakınız Google Botları’nın isimleri gelecekti fakat “*” işaretini gördünüz. Bunun anlamı, siteniz tüm Google Botları’nca istisnasız indexlenmesine izin vermişsiniz demektir.

 

Örnek 2:
User-agent: *
Disallow: /

Gördüğünüz gibi birinci satırdaki user-agent kodumuzun anlamı tüm Google Botları’na sitenizi indexlemesi için izin verilmesiydi. Fakat ikinci satırda “/” böyle bir karakter görüyorsunuz. Bu karakterin anlamı site üzerinde tüm dosyaların taranmaması isteniyor.

Yani bu Robots.txt kod bütününden de anlayacağımız şey, bütün Google Botları’nca sitemizin hiçbir dosyası indexlenmeyecek, taranmayacak.

Örnek 2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Bütün google botları, bu 4 dosyayı indexlemeyecektir.

Örnek 3:
User-agent: DeepCrawl
Disallow: /private/

DeepCrawl, bir google botudur. Görevi ise; sitenizi uzun aralıklarla ziyaret edip, indexlenmesi için gerekli bilgileri toplar. Bu kodların anlamı ise, ismi verilen botun ilgili private klasörünü indexlememeli.

Örnek 4:
User-agent: *
Disallow: /directory/dosya.html

Tüm botlar, ilgili dosyayı indexlemeyecektir. Ama directory dizinindeki dosya.html hariç diğer tüm dosyaları tarar ve indexler.

Örnek 5:
User-agent: *
Allow: /dosya1/site.html
Disallow: /dosya1/

Bu kodların anlamı ise, tüm Google Botları dosya dizininde bulunan site.html dosyası hariç diğer tüm dosyaları taramaz ve indexlemeyecektir.

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

 

Bir önceki yazımız olan Google Webmaster Araçları başlıklı makalemizde google sitemap yollamak, google web yöneticisi araçları ve performans hakkında bilgiler verilmektedir.

Robots.txt Yapımı için yorum yapabilirsiniz. (41)

  • sedat kmc

    Teşekkürler elinize sağlık.

  • adem SARIKAYA

    hocam çok güzel anlatmışsınız oluşumu, yapımı da birazcıkta acemi kullanıcıları düşünseniz. Ben şimdi sizin sitenizden analiz ettim. benim sitemde yokmuş robot.txt ben bunu siteme nasıl uygulayacağım.

  • Muhammed

    Merhaba hocam hem burdadan hemde faceden yazıyorum lakın sızden cewap alamadım ben bu wordpres ıcın verdıgınız kodları kullandım hem not defterı oalrak hemde dreamwewar olarak 4 kez attım public.htlm ye lakın bu dosyalar nereede onları bulamadım nereye attı nerde goremıyorum ne yapmam gerekıyor saygılarımla teşekkurler

    User-agent: Googlebot

    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /wp-admin/
    Disallow: /archives/
    Disallow: /index.php
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: */feed/
    Disallow: */trackback/

    User-agent: Googlebot-Image
    Disallow: /wp-includes/

    User-agent: ia_archiver
    Disallow: /

    User-agent: duggmirror
    Disallow: /

    kodlar bunlar hocam sızın yazdıgınız kodlar sizden yardım beklıyorum
    ama dosyayı bulamadım nerede oldugunu sımdı sıtem ındexlenır mı yoksa hata mı var

  • Muhammed

    Bu sitenin robots.txt dosyası olduğundan, bu sonuç için bir açıklama bulunmamaktadır. Daha fazla bilgi edinin.

    Benım googlede aramalarda bu sorun çıkıyor bu yazdığınız kodlardan hangısnı kullanmamız gerekır botlara nelerı taratmamış nelerıde taratmamamıs gerekır adım atmadan once yanlış yapmak ıstemedıgımden yazıyorum saygılarımla

  • orhan

    İnsallh duzelir çok yararli bisey olur çünkü siteye giremiyorum neden oldu anlamadim bu site düzeltir inşallah gitmek istediğim yere olmazsa çok uzulurum

  • Kemal Tolga Kürüm

    Çok yararlı ve açıklayıcı bir konu olmuş bu konuya ilgi duyan herkes için çok önemli bir makale emeğiniz için çok teşekürler.

  • Mehmet

    Merhaba,

    En iyi wordpress kodlarını vemişsiniz teşekkürler ama sizin neden kullanmadığınızı merak ettim.

  • İbrahim Candaş Pehlivan

    Tşk Ederim hocam güzel aciklamisin robot.txt nin ilkez ne işe yaradiğini öğrendim inanın ve robot u direk ana dizine attim sorun cikmaz dimi

  • Muhammed İkbal Molla Ametalı

    Vermiş olduğunuz bilgiler için teşekkürler, ben robot.txt yi ayarladım fakat hocam oluşturduğuımuz robot.txt yi nereye atacağız onu bilmiyorum?

  • murat durgut

    Merhaba kopekburada.org sitesi robots.txt dosyası olduğu halde yok görünüyor yardımcı olursanız sevinirim . robots.txt dosyası
    /public_html içinde robots.txt olarak duruyor içeriği şu şekilde

    User-agent: Googlebot
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /wp-admin/
    Disallow: /archives/
    Disallow: /index.php
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: */feed/
    Disallow: */trackback/

    User-agent: Googlebot-Image
    Disallow: /wp-includes/

    User-agent: ia_archiver
    Disallow: /

    User-agent: duggmirror
    Disallow: /

    chmod değeri 644 tip olarak metin belgesi görünüyor lütfen yardım.

  • Ömer Faruk Kul

    DataLife Engine (DLE) için de en iyi robot.txt kodlarını vereyim DLE kullananların işine yarayabilir;

    User-agent: *
    Disallow: /engine/go.php
    Disallow: /engine/download.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search

  • Kürşat Kırtaş

    Çok teşekkür etmem gerekir.spesifik olarak,wordpress e verdiğiniz örnek için.saygılar

  • Ali Furkan Askın

    Merhaba Yazı için Teşekkürler.Ben bunu blogger için kullanmak istiyorum.robots ile blogger arama uzantıs search/label kullanmak istemiyorum.sadece com/yayın ismi olarak kullanmak istiyorum.

  • Nejat Altınoklu

    Merhaba, hazırladığım bir stemap.xml dosyasının içindekileri indexlememesi gibi bir şey yapabilir miyiz?

  • ali

    merhabalar benim bir sorunum var ben html den sonra kini engellemek istiyorum örnek.

    wordpressle galeri olarak eklediğim resimler site.com/konu.html/resimismi/ oluşuyor. ben bunu googleden nasıl engellerim indexlenmemesi için

    site.com/konu.html/ bundan sonrasını indexlenmesin ?

  • Ali

    Hocam forumları ve alakalı yazıları araştırdığım halde kesin bir bigliye ulaşamadım. Benim yapmak istediğim sadece bir yada iki tane arama motoruna izin vermek. Mesela ben Bing yada Yahoo arama motorlarının sitemi indexlemesini istemiyorum. Robot.txt dosyası üzerinden sadece bir yada iki tane arama motorunu engelleyemez miyim ?

  • Ceyhun Kadir Korkmazcan

    Selamun aleykum bilgiler için teşekkürler . en iyi wordpress robots.txt kullandım halde sitem 2 günde bir index aliyor ve birçok çalışma yapiyorum imleme vs.. ama neyazikki önüne geçemedim bu konu hakkında bilgi verirmisiniz.

  • Ömer Okan Boylu

    Gerçekten çok işe yaradı hocam.Çok anlaşılır ve net bir açıklama yapmışsınız.

  • Egehan Boy

    bazen bu kodları verdiğimizde indexleme hatası veriyor 404 bunu nasıl halledicez

  • Köker Berk

    SMF forumları için de “iyileştirilmiş” ve SEO için en ideal kodları yayınlayabilir misiniz? Ve her SMF formu için takip edilmeyecek dosya isimleri aynı mı? Çünkü internette smf için arattığımda birçok farklı dosya isimleri geliyor. Bir de benim sitemde hem SMF hem de wiki kurulu. Google indeksinde formun iletisinin altında formun değil wiki kaynak’ın “Üye ol” linki çıkıyor. Ziyaretçiler de forma üye olduğunu zannedip wiki kaynaka üye oluyor. Wiki kaynak’ın login ve register sayfalarının indekslenmemesini ama smf formunun “bağlan” ve “üye ol” sayfalarının indekslenmesini nasıl sağlarım?

  • Hüseyin Özbir

    Son zamanlarda okuduğum SEO ile ilgili makaleler arasında anlaşılması en kolay ve net olanı.
    Teşekkürler.

  • murat türkan

    / işareti konduktan sonra kök dizindeki klasör ismini yazmadan direk dosya ismini mi yazacağız.

    mesala
    Disallow: /dosya1/ddd.html ile Disallow: /ddd.html aynı ifademidir.Yoksa yolu mutlaka bildirmemiz mi gerekiyor

  • Güven Kontacı

    Peki robots.txt dosyasını nasıl açıp nereye koyacağız. Yani nasıl kullanacağız.

  • Murat

    Merhaba. google robots.txt dosyasını ne kadar süre içerisinde güncelliyor bu konuda bilgi verebilir misiniz?

  • Mehmet Koyunsev

    Öncelikle paylaşımınız için teşekkürler;
    Arama motorlarına indexleme kısıtlaması getirmemenin bir zararı olurmu peki?

  • Özcan YOLCU

    Merhabalar. Sitem yaklaşık 2 haftadır indexlemede sorun yaşıyor. Google webmaster paneline şu şekilde bir mesaj gelmiş :
    Over the last 24 hours, Googlebot encountered 29 errors while attempting to access your robots.txt. To ensure that we didn’t crawl any pages listed in that file, we postponed our crawl. Your site’s overall robots.txt error rate is 11.4%.

    You can see more details about these errors in Webmaster Tools.

    Ne yapmam gerekli anlayamadım. Yardımcı olabilir misiniz?

  • İbrahim Engin Yüzbaşıoğlu Gür

    Konuyu inceledim paylaşım için teşekkürler yanlız yorumları inceldigimde bir yanlış anlaşılma oldugunun kanatin vardım robots.txt dosyasını şu şeklide yapma ; (User-agent: * Disallow) bu şeklide yapmak sitemde hiçbirşeye izin vermiyorum demek dogru olanı şu şeklide ( User-agent: * Allow ) Bu şeklide bir kanıya vardım çok araştırdıktan sonra şuanda da 1 hafta oldu gidişat güzel denediğim sitede Benim düşüncemde bu 🙂

  • Erem Günel

    Teşekkürler. Ben şunu soracağım robot.txt dosyası yoksa bir sitede bu çok büyük dezavantaj mıdır? Yani ne zararı var olmamasının?

  • Egehan Mirzanlı

    google web araçlarına kaydolmuştum nasıl olduysa engellenen urller bölümünde blogumun adresi var . robot sayfamı engelliyor ve url m aramalarda her zaman başta çıkarken artık gogole tarafından görülmüyor robot.txt i nasıl kaldırabilirim..

  • Mahmut Bilal Yelegen

    Yapılması gereken bence sadece istenmeyen veya indexlemesini istemediğiniz dosyaları engellemek geri kalanı ise normal bırakmak engellememek. 🙂 Aslında en idali sizinde yaptığınız gibi hocam. Ancak ek olarak sitemap ekleme ve admin panel engellenmesi gerekir diye düşünüyorum 🙂 İyi Çalışmalar.

  • Muhammed Ali Duran Rauf

    Merhabalar,

    Bilgilendirme için teşekkürler ama dikkatimi çeken bir nokta oldu. O da “ia_archiver”, yanlış bilmiyorsam ve ki denemesini de yaptım bu alexa için çalışan bir örümcektir. Eğer bunu engellerseniz ki ben iki üç denedim 100 lerce “K” gerilemiş oldu sitem 🙂 Kısacası yazılan hazır şeyleri iyi araştırmak gerekir. Burada yazacağımız bir çok zararlı örümcek tarayıcı vb şeyler var onlar OK engelensin ama zararı düşünüldüğü kadar yararı olan şeyler de var.

    İyi çalışmalar dilerim.

  • Deniz Dilay Aksoy

    Bencede fazla kurcalamanın anlamı yok bırakın indexlensin derim.

    User-agent: *
    Disallow

  • Ekin Esme Babacan

    bence robot.txt dosyasını fazla kurcalamayın indexler burdan yola çıkıyor çünkü

    User-agent: *
    Disallow

    üstteki şekilde yapın gitsin gizli ne olabilirki sitenizde 😀 olanlarda zaten şifrelidir yada izinleri genele kapalıdır.

  • Alim Misoğlu

    teşekkürler.. aynı şekilde archive ve feed kısımları da engellenmemesi gerektiğini düşünüyorum..
    Acaba bilinmedik bişi varmı diye özellikle sormak istedim…

    teşekkürler

  • Kaan Gülten

    @Burak, @manyak, tag ve category sayfalarının disallow olarak gösterilmesi yanlıştır. Yazar arkadaş büyük ihtimalle bir siteyi referans alarak böyle bir sonuca verdi. Yazıda gerekli düzeltme yapılmıştır.

  • Alp Dora Paksoy

    Burak arkadaşın sorduğunu bende merak ediyorum. şu anda tam araştırdığım konu bu…
    hocam bu konuda bilgilendirirseniz memnun olurum. Özellikle mail atmanızı rica ederim bu konuyla ilgili…

  • Emre KARABULUT

    Teşekkürler.Robots.txt dosyasını wordpress e uygun şekilde ayarladım sayenizde.

  • Burak

    Hocam öncelikle konunuz için teşekkür ederim.Benim birkaç blogum var ve ben tag category page gibi sayfaları indexletiyorum.Çünkü oradanda bayağı trafik alıyorum.burada Disallow: /page/
    Disallow: /tag/
    Disallow: /category/ demişsiniz bu şekilde yaptığımız zaman bu sayfalar indexlenmiyor olacak ve benim hit kaybım olacak.Sizcede mantıklımı bunları indexletmemem? Cevabınızı bekliyorum teşekkür ederim.

  • Kuntay Yiğit Denizgünü

    User-agent: Googlebot

    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /wp-admin/
    Disallow: /feed/
    Disallow: /archives/
    Disallow: /index.php
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: */feed/
    Disallow: */trackback/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /category/

    User-agent: Googlebot-Image
    Disallow: /wp-includes/

    User-agent: ia_archiver
    Disallow: /

    User-agent: duggmirror
    Disallow: /

    aynısını deniyorum 2 hafta içinde sonucu yazıcam şu anda tr indexim

    Yaklaşık 252 sonuç (0,27 saniye)

    ziyaretci ortalama 90-120 arası iki hafta sonra bakalım:)

  • İbrahim ÇAKICI

    Evet sitemap’i bu yollada tanıtmış oluruz. Ama bu yöntemi blog siteleri için değilde daha çok forum siteleri için kullanıyorum ben.

  • Muhammed Sefa Pakdemirli

    Gerçekten SEO için önemli kriterlerden bir tanesi. Bu detaylı paylaşımın için teşekkürler.


Cevap Yazın

E-posta hesabınız yayımlanmayacak.