Arama motorları bir web sitesi üzerine gördüğü tüm sayfaları hatta bazı durumlarda görmediği sayfaları bile indexlemektedirler. Web sitesi sahipleri olarak, her içeriğimizin arama motorlarına açık olmasını istemeyebiliriz. Bu gibi durumlarda sitenin imajını zedelememek için o içeriğin arama motoru sonuçlarından kaldırılması gerekir.
Bu durum, sitemizde daha önce yayınladığımız içeriğin güncelleğini yitirmesi veya sattığımız ürünün satışının çekilmesi halinde yaşanabilecek olası bir durumdur.
Bu durum ise, aslında sitede yer almayan bir sayfanın olduğu kabul edilerek, başka siteler tarafından verilen linklerdir.
Hangi durumlarda sitemizde olmayan bir içeriğe link verilebilir
Gizli içerik durumu, bir sitedeki ürün veya bilgilerin sadece istenilen üye veya kişilere açık olması durumunda, arama motorları tarafından o içeriğe gelebilecek ziyaretleri engellemek için bu tür sayfaların indexleri temizlenmektedir.
Webmaster araçları, arama motorlarının web site sahiplerine arama ve tarama durumları hakkında bilgilendirme ve düzenleme imkanı tanımaktadır.
Bu yazıda, Dünyaca en çok kullanılan arama motoru olan Google üzerinden anlatım yapılacaktır.
Web sitemizi Google Webmaster Araçları’na kayıt ettikten sonra, Site Yapılandırma Bölümünde, Tarayıcı Erişimi bölümüne geçip Robots.txt oluşturun sekmesi ile sitemizin tüm içeriğinin Google tarafından görülmesini veya 2. Seçenek ile Tüm sitenin Google arama sonuçlarından kaldırılmasını sağlayabilirsiniz.

Eğer tüm site içeriği yerine sitedeki tekil linklerin kaldırılmasını istiyorsanız, Tarayıcı Erişiminden URL’yi kaldır sekmesinden, kaldırmak istediğimiz urlleri girip Google tarafından değerlendirilmesini istiyoruz.
Webmaster araçları üzerinden Robots.txt yi düzenleyerek tüm site içeriği üzerinde müdahale yapabiliyoruz. Ancak Robots.txt dosyasını elle düzenleyerek kaldırılmasını istediğiniz sayfa, dizin, kategori ve tüm site içeriğini arama motorlarından silebilirsiniz.
Tüm Siteyi Silmek için
User-agent: *
Disallow: /
Sadece istenilen Sayfa, Dizin veya Kategori için
User-agent: *
Disallow: / http://www.seohocasi.com/yanlis-url
Disallow: / http://www.seohocasi.com/yanlis-kategori
Disallow: / http://www.seohocasi.com/?ref
Google Resim Aramaları için
Sadece İstenilen Resim
User-Agent: Googlebot-Image
Disallow: /images/seo.jpg
Sitedeki Tüm Resimler
User-Agent: Googlebot-Image
Disallow: /
Tüm site içeriğinin veya sadece istenilen içeriklerin indexlerini silmek için meta robots kodu kullanılabilmektedir.
Aşağıda yer alan kodu sadece istenilen sayfalara yerleştirerek o sayfaların indexlerini veya tüm sayfalara yerleştirerek site içeriğinin tüm indexini, bir sonraki arama motoru botunun ziyaretiyle arama motoru sonuçlarından kaldırılmasını sağlayabilirsiniz.
<meta content=”noindex, nofollow”>
Tüm arama motorlarından ziyade bazı arama motorlarının indexlerini silmek isterseniz, aşağıdaki örnekteki gibi sadece o botun adı girilmelidir.
<meta content=”noindex, nofollow “>
Bunların dışında arama motorlarının sitenizi belleklemesini engellemek veya bellekteki sayfaların silinmesini sağlamak için aşağıdaki kodu eklemeniz gerekir.
<meta content=”noarchive”>
Site adresinin değiştirilmesi sonucunda eski siteye ait indexlerin yeni siteye yönlendirilmesi ile, hem arama motoru üzerinden gelecek ziyaretleri yeni siteye kayıpsız yönlendirmek hem de bu yönlendirme ile eski indexlerin de yeni site indexi olarak değiştirilmesini sağlamak için htaccess düzenlemesi kullanılmaktadır.
Htaccess ile 301 yönlendirmesi yaparak siteyi komple başka bir adrese yönlendirebilir.
Açılmayan sayfalar için 404 sayfası oluşturarak 404 sayfalarının indexlenmesi diğer yöntemleri ile engellenebilir.
Eski bir ürün veya bilgi sayfasının yeni bir ürün sayfasına yönlendirilmesini sağlayabiliriz.
Redirect permanent http://www.eskisite.com/ http://www.yenisite.com/
Bir önceki yazımız olan WordPress » Transposh ile Uluslararası Seo başlıklı makalemizde seo, Transposh ve Transposh eklentisi hakkında bilgiler verilmektedir.
Google Webmaster..
12 Mayıs 2012
Webmaster araçlarına..
Google Penguen G..
7 Mayıs 2012
Google sürekli olara..
Google Çeviri Ha..
12 Nisan 2012
Google çeviri hatası..
“İndex Silmek” için 14 Yorum Yapılmış.
Çok güzel anlatmışsin kaan hocam. Birde şu var. Google uzun bir süre erişemedigi sayfa ya da url’i bir zaman sonra dizinden siliyor.
Teşekkürler ilyas. evet onu da ilave ettiğin için teşekkür ederim. unutmuşum.
Şimdi ben bır forum kurdum ve sonra hata sonucu çöktü ve indexlenmişti ancak yeniden bu forumu kurdum ama eski indexler gözüküyor yenileri gözükmüyor . Yeni indexlerin gözükmesi acaba ne kadar zaman alır ?
teşekkürler yazı için
@ali, yeni indexlerin gözükmesi, arama motoru botlarının siteye uğrama sıklığına bağlıdır.
http://www.seohocasi.com/hizli-indexlenme-icin-inanilmaz-ipuclari/
yazısıyla bunu hızlandırabilirsin.
Merhaba Hocam,
Blog yazmaya ilk başladığımda domain ve hosting gibi konulara yabancı olduğumdan ücretsiz blog servislerinden faydalandım. İlk blogum siteadı.wordpress.com a geçen gün, yasak olduğunu bilmeden birkaç affiliate (ortaklık) linki ekledim. Yazıyı kaydet komutu verir vermez blogumu banladılar.
Şimdi kendi hosting ve domainimi oluşturup eski blogumu içe aktar yöntemiyle taşımak istiyorum ama yeni site muhtemelen google sandboxa girecek. Ücretsiz blog hizmeti olduğundan 301 yönlendirme yapma şansım yok. Hatta webmaster tools’dan adres değişik bildirimi bile yapamıyorum.
Son çare olarak yukarıda anlattığınız gibi, eski sitenin indexini webmastertools’dan tamamen sildikten sonra yeni domaine taşıma yapmayı düşünüyorum. Bundan başka yada farklı olarak bana ne tavsiye edebilirsiniz. Teşekkürler, Fatih.
Robots.txt baya hızlı ve etkili bir yöntem. Gerçi ben pek indexlenmiş sayfalarımı silmem. Sonuçta 1 hitte olsa fayda sağlar.
yahu ben amator biriyim bu dediklerinizdn de bişey anlamadım alt yazı yüklemek icin ugraşırken taktuk net diye bir arama motoru musallat oldu kırdıracak bana pc yi kafayı yiyorum daha sade bir dille yardım cı olur sanız sevinirim
ramazan nickli arkadaş sizin buraya yazdığınız yorumun konuyla uzaktan yakından alakasının olmadığının farkındasınızdır.İndirdiğiniz bir dosyayı çalıştırmışsınız ve muhtemelen anasayfanız taktuk net isimli bir site olmuş bunu düzeltmek için google da anasayfa.reg diye aratınız.
ramazan kardeşim, bunu buraya yazdığın için google taktuk aramalarında site sonucunu 4. sıraya çıkarmışsın, arama yapıca virüs ramazan taktuk die çıkıyor
Mrb benim sitemdeki resimlerin indexi googledan silinmiş bir anda oldu bu nedeni ne olabilir cevaplarsanız sevinirim
Arkdaşlar indexlerimi googleden sildim robot.txt ile sonra yeniden indexlenmesi için tekrar robot.txt ye izin verdim fakat tekrar eski indexler görünmeye başladı
abi bu kodu ekleyince kac gun içerisinde indexlerim silinir User-agent: *
Disallow: /
Hocam eline sağlık güzel yazı olmuşta benim istediğim tek bir bilgi vardı onuda yazdığınızı zannedip aynı satırı tekrar yazmışsınız. Yazıdan alıntı
arama motoru sonuçlarından kaldırılmasını sağlayabilirsiniz.
Tüm arama motorlarından ziyade bazı arama motorlarının indexlerini silmek isterseniz, aşağıdaki örnekteki gibi sadece o botun adı girilmelidir.
Buradan ne anlıyorsunuz siz. İstenen bot kısmı hatalı.