SEO Fiyat Hesaplama

SEO Sorunuzu Sorun Uzmanlarımız Yanıtlasın

Soru Sorun

Robots.txt Dosyası Nasıl Kullanılır?

0
Serdar
Serdar
Robots.txt 3 sene önce 67 Görüntülenme

Merhaba, robots.txt dosyasına bir siteye ait linkin indexlenmemesi için işlem yapmak istiyorum.

Yazılışın doğrusu hangisidir:

Disallow: /http://www.siteadı.com/yazı
Disallow: / http://www.siteadı.com/yazı
Disallow:/ http://www.siteadı.com/yazı mı, ya da hepsi aynı kapıya mı çıkıyor?

Birde robots.txt dosyası içerisinde “” not almak için bu kodu kullansam sorun olur mu?

SEO Soru Cevap her hafta e-postanızda. Ücretsiz abone olmak için tıklayın.

Robots.txt Dosyası Nasıl Kullanılır? için Yanıtlar

  • Atalay Sidar
    0
    Atalay Sidar 20 Temmuz 2015, 14:00

    Merhabalar,

    Robots.txt dosyasında yapılacak değişikliklere oldukça dikkat edilmelidir. Bu dosya üzerinden Google botları ile iletişime geçildiği için botları bilinçsizce engelleyebilir, veya erişimini istemediğiniz yerlere Google botlarını çekip lüzumsuz indeksler aldırabilirsiniz. Bilinçsizce yapılan değişikliklerde sıralamada olan web sitelerinin sıralamadan çıktığı ve bir çok kritik hata ile karşılaştıklarını gözlemlemiştik. SEO çalışmaları yapılmadan önce Robots.txt dosyası mutlaka kontrol edilmelidir.

    Örnek olarak eğer bütün dosyaların taranmasını isterseniz ;

    User-agent: *
    Disallow:

    Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;

    User-agent: *
    Disallow: /

    Bütün robotları herhangi bir dosyanın erişimine engellemek için;

    User-agent: *
    Disallow: /directory/file.html

    Yorum satırları için;

    # Yorumlar “#” işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir.
    User-agent: * # bütün botları kapsasın
    Disallow: / # bütün botları uzak tutsun

Robots.txt Dosyası Nasıl Kullanılır? Sorusunu Cevapla