Robots.txt yapımı
- Seo Hocası
- Seo Araçları
- Robots.txt yapımı
Bu yazımda Robots.txt yapımı hakkında siz ziyaretçilerimizi bilgilendireceğim. Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır. Şimdi biz de Robots.txt yapımını beraberce öğrenelim.
Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:
User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak
Örnek 1:
User-agent: *
Disallow
Kodlarımızı yorumlayalım. 1. satırdaki kodumuz da bakınız Google Botları’nın isimleri gelecekti fakat “*” işaretini gördünüz. Bunun anlamı, siteniz tüm Google Botları’nca istisnasız indexlenmesine izin vermişsiniz demektir.
Örnek 2:
User-agent: *
Disallow: /
Gördüğünüz gibi birinci satırdaki user-agent kodumuzun anlamı tüm Google Botları’na sitenizi indexlemesi için izin verilmesiydi. Fakat ikinci satırda “/” böyle bir karakter görüyorsunuz. Bu karakterin anlamı site üzerinde tüm dosyaların taranmaması isteniyor.
Yani bu Robots.txt kod bütününden de anlayacağımız şey, bütün Google Botları’nca sitemizin hiçbir dosyası indexlenmeyecek, taranmayacak.
Örnek 2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
Bütün google botları, bu 4 dosyayı indexlemeyecektir.
Örnek 3:
User-agent: DeepCrawl
Disallow: /private/
DeepCrawl, bir google botudur. Görevi ise; sitenizi uzun aralıklarla ziyaret edip, indexlenmesi için gerekli bilgileri toplar. Bu kodların anlamı ise, ismi verilen botun ilgili private klasörünü indexlememeli.
Örnek 4:
User-agent: *
Disallow: /directory/dosya.html
Tüm botlar, ilgili dosyayı indexlemeyecektir. Ama directory dizinindeki dosya.html hariç diğer tüm dosyaları tarar ve indexler.
Örnek 5:
User-agent: *
Allow: /dosya1/site.html
Disallow: /dosya1/
Bu kodların anlamı ise, tüm Google Botları dosya dizininde bulunan site.html dosyası hariç diğer tüm dosyaları taramaz ve indexlemeyecektir.
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Bir önceki yazımız olan WordPress » All in one SEO Pack başlıklı makalemizde all, all in one seo ve all in seo pack hakkında bilgiler verilmektedir.
Benzer Seo Yazıları
-
Google Webmaster..
12 Mayıs 2012
Webmaster araçlarına.. -
Google Penguen G..
7 Mayıs 2012
Google sürekli olara.. -
Google Çeviri Ha..
12 Nisan 2012
Google çeviri hatası..
-
Kaan Gülten
SeoHocasi.com Kurucusu
6965 Seo Puanı -
Hakan Erpekin
SeoHocasi.com Yazarı
1405 Seo Puanı
© 2011. Tüm Hakları Saklıdır.
“Robots.txt yapımı” için 16 Yorum Yapılmış.
Gerçekten seo için önemli kriterlerden bir tanesi. Bu detaylı paylaşımın için teşekkürler.
Sitemap: http://www.seohocasi.com/sitemap.xml
bu şekilde sitemaplarımızıda ayrıca pingletebiliriz :)
Evet sitemap’i bu yollada tanıtmış oluruz. Ama bu yöntemi blog siteleri için değilde daha çok forum siteleri için kullanıyorum ben.
Forum sitelerinden kasıt sitemapları büyük olduğu içinmi ?
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
aynısını deniyorum 2 hafta içinde sonucu yazıcam şu anda tr indexim
Yaklaşık 252 sonuç (0,27 saniye)
ziyaretci ortalama 90-120 arası iki hafta sonra bakalım:)
Hocam öncelikle konunuz için teşekkür ederim.Benim birkaç blogum var ve ben tag category page gibi sayfaları indexletiyorum.Çünkü oradanda bayağı trafik alıyorum.burada Disallow: /page/
Disallow: /tag/
Disallow: /category/ demişsiniz bu şekilde yaptığımız zaman bu sayfalar indexlenmiyor olacak ve benim hit kaybım olacak.Sizcede mantıklımı bunları indexletmemem? Cevabınızı bekliyorum teşekkür ederim.
Teşekkürler.Robots.txt dosyasını wordpress e uygun şekilde ayarladım sayenizde.
Burak arkadaşın sorduğunu bende merak ediyorum. şu anda tam araştırdığım konu bu…
hocam bu konuda bilgilendirirseniz memnun olurum. Özellikle mail atmanızı rica ederim bu konuyla ilgili…
@Burak, @manyak, tag ve category sayfalarının disallow olarak gösterilmesi yanlıştır. Yazar arkadaş büyük ihtimalle bir siteyi referans alarak böyle bir sonuca verdi. Yazıda gerekli düzeltme yapılmıştır.
teşekkürler.. aynı şekilde archive ve feed kısımları da engellenmemesi gerektiğini düşünüyorum..
Acaba bilinmedik bişi varmı diye özellikle sormak istedim…
teşekkürler
bence robot.txt dosyasını fazla kurcalamayın indexler burdan yola çıkıyor çünkü
User-agent: *
Disallow
üstteki şekilde yapın gitsin gizli ne olabilirki sitenizde :D olanlarda zaten şifrelidir yada izinleri genele kapalıdır.
Bencede fazla kurcalamanın anlamı yok bırakın indexlensin derim.
User-agent: *
Disallow
Merhabalar,
Bilgilendirme için teşekkürler ama dikkatimi çeken bir nokta oldu. O da “ia_archiver”, yanlış bilmiyorsam ve ki denemesini de yaptım bu alexa için çalışan bir örümcektir. Eğer bunu engellerseniz ki ben iki üç denedim 100 lerce “K” gerilemiş oldu sitem :) Kısacası yazılan hazır şeyleri iyi araştırmak gerekir. Burada yazacağımız bir çok zararlı örümcek tarayıcı vb şeyler var onlar OK engelensin ama zararı düşünüldüğü kadar yararı olan şeyler de var.
İyi çalışmalar dilerim.
Yapılması gereken bence sadece istenmeyen veya indexlemesini istemediğiniz dosyaları engellemek geri kalanı ise normal bırakmak engellememek. :) Aslında en idali sizinde yaptığınız gibi hocam http://www.seohocasi.com/robots.txt Ancak ek olarak sitemap ekleme ve admin panel engellenmesi gerekir diye düşünüyorum :) İyi Çalışmalar.
google web araçlarına kaydolmuştum nasıl olduysa engellenen urller bölümünde blogumun adresi var . robot sayfamı engelliyor ve url m aramalarda her zaman başta çıkarken artık gogole tarafından görülmüyor robot.txt i nasıl kaldırabilirim..