Arama Motorları JS Referrer Politikası ve İçerik Gizleme

Referrer Policy Nedir?

Arama motorlarının tarama botları web sitelerini crawl ederken site üzerindeki bir kaç parametre kontrol ihtiyacı duyarlar. Bu parametrelerin içerisinde robots.txt önceliklidir. Robots.txt den sonra web sitesini oluşturan dosyalar bulunmaktadır. Bu dosyalar içerisinde referrer policy terimini kontrol edilmelidir. İşte tamda bu noktada tarayıcı referans politikası ile engelleme sağlanabilmektedir.

 

Site içeriğini gizlemeye neden ihtiyaç duyulur?

Web sitelerimiz içerisinde zaman zaman kontrolümüz dışında gelişen yapılar oluşabiliyor. Bu yapıların önünde gelen alan ise içerik yorumları. Spam içerikli yorumları engellemek arama motorları için gereksiz içeriği engellemek için faydalı olabilmektedir. Finansal online veriler ve hava durumu gibi api aracılığı ile site içine adapte edilen veriler de duplicate content olacağından ötürü bu uygulamaya tabii olabilir. Senaryolar çoğaltılabilir.

referrer policy google

Peki bir siteye ek olarak yüklenen dosyaların referrer durumu nasıl kontrol edilir?

1- Kontrolün sağlanacağı web sitesini görüntülerken tarayızı üzerinde sağ click ile incele/öğeyi denetle seçeneğine tıklayınız.

ogeyi denetle

2- Karşınıza açılan pencere üzerinde "Network" sütununa gelin.

network

3- Network sekmesinde iken sayfayı yenileyin ve işlemi uyguladığınız dosyayı görüntüleyin.

referrer

Dosya detaylarındaki "Referrer Policy" satırında "strict-origin-when-cross-origin" tanımını görüntülüyorsanız, bu dosyadan sağlanan veriler arama motorları tarafından görüntülenemez.

 

Bu tarz bir işlemi arama motorlarının gözünden kontrol etmenin 2 farklı yöntemi mevcuttur.

1- Google Yapısal Veri Test Aracı ile url üzerinde kontrol sağlayabilirsiniz. Web sitesi içinde bu dosya ile yayınlanan metinden bir bukle alın ve yapısal veri test aracında bu metni sorgulayın. Eğer metin kaynağın içinde ise Google tarama botları dosya içerisini görüntüleyebiliyor demektir.

2- Google Search Console üzerinde bu işlemi uyguladığınız sayfayı eski adıyla "google gibi getir" işlemi gerçekleştirerek gerçekleştirebilirsiniz. İşlemin ardından "Taranan Sayfayı Göster" alanına tıklayınız. Ekranınız sağ tarafında açılacak olan pencerede HTML alanında, site üzerinde arama motorlarına gizlemek istediğiniz metini aratınız.

Cihat Murat YÜKSEL
11 Haziran 2021, 10:20
Cihat Murat YÜKSEL