X-Robots-Tag nedir?
X-Robots-Tag, arama motorlarına bir web sayfasını nasıl tarayacaklarını ve dizine ekleyeceklerini bildiren HTTP yanıt başlığının isteğe bağlı bir bileşenidir. HTML sayfaları için ayrılmış olan meta robots etiketinin aksine, X-Robots-Tag resimler, metin dosyaları ve PDF'ler gibi HTML olmayan dosyalar için kullanılabilir.
İşte X-Robots-Tag içeren bir HTTP yanıtı örneği:
HTTP/1.1 200 OK Tarih: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)X-Robots Etiketi Neden Önemli?
X-Robots-Tag önemlidir çünkü arama motorlarının sadece HTML sayfalarını değil diğer dosya türlerini de nasıl indeksleyeceğini ve tarayacağını kontrol etmenizi sağlar. Bu özellik özellikle çeşitli içerik türlerine sahip büyük web sitelerini yönetmek için kullanışlıdır. Temel faydaları şunlardır:
- Esneklik: PDF'ler, resimler ve videolar gibi HTML olmayan dosyalara yönergeler uygulayın.
- Genel Uygulama: Kuralları site genelinde veya belirli dizinlere ve dosya türlerine uygulamak için bu etiketi kullanın.
- Düzenli İfadeler: Birden fazla URL'yi verimli bir şekilde hedeflemek için gelişmiş kalıplar kullanın.
X-Robots-Tag için Ortak Yönergeler
X-Robots-Tag ile meta robots etiketi için geçerli olan herhangi bir yönergeyi kullanabilirsiniz. İşte yaygın olarak kullanılan bazı yönergeler:
- noindex: Sayfanın veya dosyanın arama motorları tarafından dizine eklenmesini engeller.
- nofollow: Arama motorlarının sayfadaki bağlantıları takip etmesini engeller.
- none: "noindex, nofollow" ile eşdeğerdir.
- noarchive: Arama motorlarının sayfanın önbelleğe alınmış bir sürümünü göstermesini engeller.
- nosnippet: Arama motorlarının arama sonuçlarında sayfanın bir snippet'ini göstermesini engeller.
Örneğin, Googlebot'a PDF dosyalarındaki hiçbir bağlantıyı dizine eklememesi veya takip etmemesi talimatını vermek için şunu kullanabilirsiniz:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>X-Robots-Tag Nasıl Kurulur
Apache Sunucusunda
X-Robots-Tag'i .htaccess dosyasında veya httpd.conf dosyasında ayarlayabilirsiniz. Tüm PDF dosyalarına noindex yönergesini nasıl uygulayacağınız aşağıda açıklanmıştır:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>NGINX Sunucusunda
NGINX için yönergeyi sitenin .conf dosyasına ekleyebilirsiniz:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Belirli Tarayıcılar için Yönergeler Ayarlama
Belirli tarayıcılar için yönergeleri isimlendirerek belirtebilirsiniz:
Header set X-Robots-Tag "googlebot: noindex, nofollow"X-Robots-Etiketini Görüntüleme
Robots meta etiketinin aksine, X-Robots-Tag HTTP yanıt başlığının bir parçasıdır ve HTML kodunda görünmez. Google Chrome'da nasıl görüntüleneceği aşağıda açıklanmıştır:
- URL'yi Google Chrome'a yükleyin.
- Sayfaya sağ tıklayın ve geliştirici araçlarını açmak için "İncele "yi seçin.
- "Ağ" sekmesini seçin.
- Sayfayı yeniden yükleyin.
- Sol panelde ilgili dosyayı seçin; X-Robots-Tag dahil olmak üzere HTTP başlıkları sağ panelde görüntülenecektir.
SSS
X-Robots-Tag'i HTML sayfaları ile kullanabilir miyim?
Evet, ancak HTML olmayan dosyalar için daha yaygın olarak kullanılır. HTML sayfaları için HTML kodu içinde meta robots etiketini kullanmak daha kolaydır.
X-Robots-Tag'imin çalışıp çalışmadığını nasıl test edebilirim?
HTTP yanıt başlıklarını kontrol etmek için tarayıcınızın geliştirici araçlarındaki İncele aracını kullanın. Google'ın URL Denetleme Aracı gibi çevrimiçi araçları da kullanabilirsiniz.
X-Robots-Tag robots.txt'i geçersiz kılabilir mi?
Hayır, X-Robots-Tag robots.txt direktiflerini geçersiz kılamaz. Bir URL'ye robots.txt'de izin verilmiyorsa, arama motorları bu URL'yi taramayacak ve sonuç olarak X-Robots-Tag yönergelerini görmeyecektir.
X-Robots-Tag'i anlayarak ve doğru bir şekilde uygulayarak, arama motorlarının web sitenizin çeşitli dosya türleriyle nasıl etkileşime gireceği üzerinde daha hassas bir kontrol elde edebilir, sitenizin SEO'sunu ve kullanıcı deneyimini geliştirebilirsiniz.
