Robots.txt Analizi ve Hataları Tespit Etme

Arama motoru botlarının (örümceklerin) sitenizin içeriğini sağlıklı bir şekilde indexlemesi için gereken Robots.txt dosyasının analizini yapmak artık mümkün. Robots.txt dosyasında yapacağınız bir karakterlik bir hata bile sitenizin yanlış şekilde indexlenmesi yada indexlenmemesine sebep olabilir. Bu yüzden siteniz için oluşturduğunuz Robots.txt dosyasını analiz edip, hatalı ise hatalarını tespit edebilirsiniz.

Check URL kısmına robots.txt dosyanızın bulunduğu dizin linkini yada direk olarak site adresinizi yazabilirsiniz. Ve isterseniz User Agents kısmına hangi arama motoru botlarının (örümceklerinin) standartlarında analiz etmesi için manual giriş yapabilirsiniz. Tavsiyem User Agents kısmına dokunmamanız.

Ve aşağıda robots.txt dosyası analizi

Friendfeed’in Robots.txt dosyası analiz sonucu; Robots.txt dosyası hatasız gözüküyor. Başarılı.

Bir önceki yazımız olan SEO Nedir, Nasıl Yapılır ? başlıklı makalemizde SEO nasıl yapılır, SEO Nedir ? SEO Nasıl Yapılır ? ve SEO nedir? hakkında bilgiler verilmektedir.

Robots.txt Analizi ve Hataları Tespit Etme için yorum yapabilirsiniz. (9)

  • eren

    robot.txt dosyaları yüzünden sitem aramalarda çıkmıyor ben robot.txt diye bişey oluşturmadım robot.txt nasıl iptal edilir yardım lütfen

  • Mustafa Bora Kundakçı

    mrb benim siteme google botları gelmiyor acaba robots.txt mi sorun var tşkr edrm can bey

  • Murat Yaman

    Bu makale o kadar yararlı ve faydalı ki, oluşturmuş olduğum robots.txt dosyamda bir yığın hata olduğu görüm ve hemen düzelttim. emeği geçenlere çok teşekkür ederim.

  • Ergin

    Robots.txt analizi hakkında hiçbir fikrim yoktu. Süper bir yazı olmuş.

  • akin

    teşekkürler Can bey
    bende böyle bir hata ile karşılaştım nasıl çözümlerim acaba ?
    Line 1:Syntax error! Expected :
    1: User-agent: *
    2: Disallow:
    3:

    Line 2:
    Missing User-agent directive! Found Disallow
    Each rule record has to start with at least one User-agent statement. Blank lines delimit rule records and may not be used between User-agent and Disallow statements.

    1: User-agent: *
    2: Disallow:
    3:
    4: Sitemap:

  • Ekin

    Sitemin Robots.txt dosyasında çok hata buldu. Zamanında hiç bakmamıştım. Tamamen sıfırladım. Artık örümcekler tüm sayfalarımı indexleyebilirler.

  • Soner

    User-agent: * komutunu kullanmak bile robots.txt açısından yarar sağlıyor. Ancak makalede yazan servis tam anlamıyla bir robots.txt nasıl hazırlanır bizlere gösteriyor. Güzel bir makale.

  • Kerem

    Sitemin Robots.txt dosyası analizini bu servis sayesinde yaptım. Hataları düzeltim teşekkürler

  • ibrahim

    Bende 22 hata, 5 uyarı çıktı ama nasıl düzelticem yada hataların anlamı ne? Yardım bekliyorum


Cevap Yazın

E-posta hesabınız yayımlanmayacak.