Öncelikle Robots.txt analizine geçmeden robots.txt kavramından kısa ve açıklayıcı olacak biçimde bahsetmemiz gerekir diye düşünüyorum. Robots.txt bir metin dosyasıdır. Herhangi bir arama motoru için sitenizin hangi sayfa ya da bölümlerinin taranmasını istediğinizi veya istemediğinizi anlattığınız basit bir komut dosyasıdır. Arama motorları tarafından görevlendirilen, arama motoru botları diğer bir şekilde örümce adı da verilen botlar sitenizi ziyaret ettiğinde ilk önce bu dosyayı tarar ve bu dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler ya da eklemez. Siz eğer ki Robots.txt dosyanızı doğru bir biçimde oluşturduysanız, arama motoru botları yazdığınız bu komutlara uygun bir şekilde tarama işlemlerini gerçekleştirecektir.
Robots.txt Dosyası Nasıl Oluşturulur?
Öncelikle dosyanın adı kesinlikle “robots.txt” olmalıdır; tamamen küçük harflerle. “robots.txt” dosyanız sitenizin sadece kök dizinine yerleştirilmeli ve UTF-8 karakter kodlamasına sahip olmalıdır. Robots.txt komut dosyası belli standartlar çerçevesinde hazırlanmalıdır ve web sitenizin kök dizinine bu şekilde yüklenmelidir. Öncelikle web sitenizin kök dizininde robots.txt dosyanızın bulunması bir gerekliliktir ve dosya oluşturulurken bir alt klasörde ya da farklı sayfalarda yer almaması gerekmektedir.
Sitenizi yeni yayına alıyorsanız veya tasarımınızı değiştirmek istiyorsanız, sitenizin ilk ihtiyacı olan şey kesinlikle Robots.txt dosyası olacaktır. Fakat bundan daha önemli bir konu ise bir süredir yayımda olan sitenizin bir Robots.txt dosyasının bulunmamasıdır. Bu gibi bir durum var ise hızlı ve doğru şekilde bir Robots.txt dosyası oluşturmanız gerekmektedir. Geç kalmanız daha fazla geç kalmanızdan veya hiç kullanmayacak olmanızdan emin olun çok daha iyi bir durumdur. Bu sebeple bu yanılgıya düşmeyiniz. Hemen müdahele ederek standartlara uygun bir robots.txt dosyası oluşturabilir ve dezavantajları ortadan kaldırabilirsiniz.
Arama motoru robotları sitenize geldiklerinde ilk olarak Robots.txt dosyasına bakmakta ve dosyada yer alan yönergeleri takip etmektedirler. Eğer herhangi bir Robots.txt dosyası yoksa, noindex etiketi olmayan sayfalar taranmaktadır. Ancak çok sayıda sayfaya ve klasöre noindex etiketini tek tek yerleştirmek oldukça zahmetli olacağından, bir Robots.txt dosyası oluşturarak zaman kazanabilir ve sitenizin istediğiniz gibi arama motoru dizinlerine eklenmesini sağlayabilirsiniz.
Robots.txt Analizi ve Hataları Tespit Etme
Peki oluşturulan robots.txt dosyasının analizi nasıl gerçekleştirilir? Hataları nasıl tespit edebiliriz? Arama motoru botlarının (örümceklerin) sitenizin içeriğini sağlıklı bir şekilde indexlemesi için gereken Robots.txt dosyasının analizini yapmak artık mümkün. Robots.txt dosyasında yapacağınız bir karakterlik bir hata bile sitenizin yanlış şekilde indexlenmesi yada indexlenmemesine sebep olabilir. Bu yüzden siteniz için oluşturduğunuz Robots.txt dosyasını analiz edip, hatalı ise hatalarını tespit edebilirsiniz. Bu işlem için öncelikle robots.txt dosyası aracı üretmeniz gerekmektedir sizler için kendi ürettiğimiz aracımız olan "Robots.txt Genarator" aracını bu durumda rahatlıkla kullanabilirsiniz.
Check URL kısmına robots.txt dosyanızın bulunduğu dizin linkini yada direkt olarak site adresinizi yazabilirsiniz. Ve isterseniz User Agents kısmına hangi arama motoru botlarının (örümceklerinin) standartlarında analiz etmesi için manual giriş yapabilirsiniz. Tavsiyem User Agents kısmına dokunmamanız.
Ve aşağıda robots.txt dosyası analizi
Robots.txt dosyası analiz sonucu; Robots.txt dosyası hatasız gözüküyor. Başarılı.
Bende 22 hata, 5 uyarı çıktı ama nasıl düzelticem yada hataların anlamı ne? Yardım bekliyorum
Sitemin Robots.txt dosyası analizini bu servis sayesinde yaptım. Hataları düzeltim teşekkürler
User-agent: * komutunu kullanmak bile robots.txt açısından yarar sağlıyor. Ancak makalede yazan servis tam anlamıyla bir robots.txt nasıl hazırlanır bizlere gösteriyor. Güzel bir makale.
Sitemin Robots.txt dosyasında çok hata buldu. Zamanında hiç bakmamıştım. Tamamen sıfırladım. Artık örümcekler tüm sayfalarımı indexleyebilirler.
teşekkürler Can bey
bende böyle bir hata ile karşılaştım nasıl çözümlerim acaba?
Line 1:Syntax error! Expected :
1: User-agent: *
2: Disallow:
3:
Line 2:
Missing User-agent directive! Found Disallow
Each rule record has to start with at least one User-agent statement. Blank lines delimit rule records and may not be used between User-agent and Disallow statements.
1: User-agent: *
2: Disallow:
3:
4: Sitemap:
Robots.txt analizi hakkında hiçbir fikrim yoktu. Süper bir yazı olmuş.
Bu makale o kadar yararlı ve faydalı ki, oluşturmuş olduğum robots.txt dosyamda bir yığın hata olduğu görüm ve hemen düzelttim. emeği geçenlere çok teşekkür ederim.
mrb benim siteme Google botları gelmiyor acaba robots.txt mi sorun var tşkr edrm can bey
robot.txt dosyaları yüzünden sitem aramalarda çıkmıyor ben robot.txt diye bir şey oluşturmadım robot.txt nasıl iptal edilir yardım lütfen
Selamlar hocam ben robots.txt getirme hatası çıkıyor erişilemiyor diyor Google console'da yardımcı olur musunuz? 3 günden beri düzelmedi...