SEO Fiyat Hesaplama
SEO Araçları
Diğer Araçlar
Top 10 Yazı
Top 10 Soru
Kitaplar
Top 10 Arama
Sosyal İletişim
SEO Hocası'na Sor

Robots.txt Dosyası Nasıl Kullanılır?

0
Serdar
Serdar
Robots.txt 4 sene önce 594 Görüntülenme

Merhaba, robots.txt dosyasına bir siteye ait linkin indexlenmemesi için işlem yapmak istiyorum.

Yazılışın doğrusu hangisidir:

Disallow: /http://www.siteadı.com/yazı
Disallow: / http://www.siteadı.com/yazı
Disallow:/ http://www.siteadı.com/yazı mı, ya da hepsi aynı kapıya mı çıkıyor?

Birde robots.txt dosyası içerisinde “” not almak için bu kodu kullansam sorun olur mu?

Robots.txt Dosyası Nasıl Kullanılır? için Yanıtlar

  • Atalay Sidar
    0
    Atalay Sidar 20 Temmuz 2015, 14:00

    Merhabalar,

    Robots.txt dosyasında yapılacak değişikliklere oldukça dikkat edilmelidir. Bu dosya üzerinden Google botları ile iletişime geçildiği için botları bilinçsizce engelleyebilir, veya erişimini istemediğiniz yerlere Google botlarını çekip lüzumsuz indeksler aldırabilirsiniz. Bilinçsizce yapılan değişikliklerde sıralamada olan web sitelerinin sıralamadan çıktığı ve bir çok kritik hata ile karşılaştıklarını gözlemlemiştik. SEO çalışmaları yapılmadan önce Robots.txt dosyası mutlaka kontrol edilmelidir.

    Örnek olarak eğer bütün dosyaların taranmasını isterseniz ;

    User-agent: *
    Disallow:

    Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;

    User-agent: *
    Disallow: /

    Bütün robotları herhangi bir dosyanın erişimine engellemek için;

    User-agent: *
    Disallow: /directory/file.html

    Yorum satırları için;

    # Yorumlar “#” işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir.
    User-agent: * # bütün botları kapsasın
    Disallow: / # bütün botları uzak tutsun

Cevapla

Robots.txt Dosyası Nasıl Kullanılır? Sorusunu Cevapla

Soru Sor Cevapla