Öncelikle Robots.txt analizine geçmeden robots.txt kavramından kısa ve açıklayıcı olacak biçimde bahsetmemiz gerekir diye düşünüyorum. Robots.txt bir metin dosyasıdır. Herhangi bir arama motoru için sitenizin hangi sayfa ya da bölümlerinin taranmasını istediğinizi veya istemediğinizi anlattığınız basit bir komut dosyasıdır. Arama motorları tarafından görevlendirilen, arama motoru botları diğer bir şekilde örümce adı da verilen botlar sitenizi ziyaret ettiğinde ilk önce bu dosyayı tarar ve bu dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler ya da eklemez. Siz eğer ki Robots.txt dosyanızı doğru bir biçimde oluşturduysanız, arama motoru botları yazdığınız bu  komutlara uygun bir şekilde tarama işlemlerini gerçekleştirecektir.

Robots.txt Dosyası Nasıl Oluşturulur?

Öncelikle dosyanın adı kesinlikle “robots.txt” olmalıdır; tamamen küçük harflerle. “robots.txt” dosyanız sitenizin sadece kök dizinine yerleştirilmeli ve UTF-8 karakter kodlamasına sahip olmalıdır. Robots.txt komut dosyası belli standartlar çerçevesinde hazırlanmalıdır ve web sitenizin kök dizinine bu şekilde yüklenmelidir. Öncelikle web sitenizin kök dizininde robots.txt dosyanızın bulunması bir gerekliliktir ve dosya oluşturulurken bir alt klasörde ya da farklı sayfalarda yer almaması gerekmektedir.

Sitenizi yeni yayına alıyorsanız  veya tasarımınızı değiştirmek istiyorsanız, sitenizin ilk ihtiyacı olan şey kesinlikle Robots.txt dosyası olacaktır. Fakat bundan daha önemli bir konu ise bir süredir yayımda olan sitenizin bir Robots.txt dosyasının bulunmamasıdır. Bu gibi bir durum var ise hızlı ve doğru şekilde  bir Robots.txt dosyası oluşturmanız gerekmektedir. Geç kalmanız daha fazla geç kalmanızdan veya hiç kullanmayacak olmanızdan emin olun çok daha iyi bir durumdur. Bu sebeple bu yanılgıya düşmeyiniz. Hemen müdahele ederek standartlara uygun bir robots.txt dosyası oluşturabilir ve dezavantajları ortadan kaldırabilirsiniz.

Arama motoru robotları sitenize geldiklerinde ilk olarak Robots.txt dosyasına bakmakta ve dosyada yer alan yönergeleri takip etmektedirler. Eğer herhangi bir Robots.txt dosyası yoksa, noindex etiketi olmayan sayfalar taranmaktadır. Ancak çok sayıda sayfaya ve klasöre noindex etiketini tek tek yerleştirmek oldukça zahmetli olacağından, bir Robots.txt dosyası oluşturarak zaman kazanabilir ve sitenizin istediğiniz gibi arama motoru dizinlerine eklenmesini sağlayabilirsiniz.

Robots.txt Analizi ve Hataları Tespit Etme

Peki oluşturulan robots.txt dosyasının analizi nasıl gerçekleştirilir? Hataları nasıl tespit edebiliriz? Arama motoru botlarının (örümceklerin) sitenizin içeriğini sağlıklı bir şekilde indexlemesi için gereken Robots.txt dosyasının analizini yapmak artık mümkün. Robots.txt dosyasında yapacağınız bir karakterlik bir hata bile sitenizin yanlış şekilde indexlenmesi yada indexlenmemesine sebep olabilir. Bu yüzden siteniz için oluşturduğunuz Robots.txt dosyasını analiz edip, hatalı ise hatalarını tespit edebilirsiniz. Bu işlem için öncelikle robots.txt dosyası aracı üretmeniz gerekmektedir sizler için  kendi ürettiğimiz aracımız olan "Robots.txt Genarator" aracını bu durumda rahatlıkla kullanabilirsiniz.

Check URL kısmına robots.txt dosyanızın bulunduğu dizin linkini yada direkt olarak site adresinizi yazabilirsiniz. Ve isterseniz User Agents kısmına hangi arama motoru botlarının (örümceklerinin) standartlarında analiz etmesi için manual giriş yapabilirsiniz. Tavsiyem User Agents kısmına dokunmamanız.

Ve aşağıda robots.txt dosyası analizi

Robots.txt dosyası analiz sonucu; Robots.txt dosyası hatasız gözüküyor. Başarılı.