Crawl Budget nedir?
Tarama bütçesi, bir arama motorunun belirli bir web sitesini taramak için ayırdığı zaman ve kaynak miktarıdır. Başka bir deyişle, bir arama motorunun belirli bir zaman dilimi içinde sitenizde tarayabileceği maksimum sayfa sayısıdır. Tarama bütçesi farklı arama motorları (veya tarayıcılar) için değişiklik gösterebilir.
Google, tarama bütçesi konusunda endişelenmemeniz gerektiğini belirtiyor:
- Sitenizde haftada bir değişen içeriğe sahip 1 milyondan fazla benzersiz sayfa var.
- Orta büyüklükte bir web siteniz var (yaklaşık 10 bin sayfa) ve içeriği sık sık (günlük) değiştiriyorsunuz.
- Bir haber sitesi işletiyorsunuz.
- Search Console, sitenizin URL'lerinin çoğunu "Keşfedildi - şu anda dizine eklenmiyor" olarak sınıflandırır.
Her web sitesi iki ana faktöre bağlı olarak farklı bir tarama bütçesi alır:
- Tarama Talebi: Sayfa sayısı, gönderme/güncelleme sıklığı ve sayfaların popülerliği ile tanımlanır.
- TaramaOranı Sınırı: Sunucu yeteneklerinden, Search Console'da site sahibi tarafından belirlenen tarama sınırından, arama motorunun tarama sınırından ve sunucu yanıt sürelerine göre Google tarafından yapılan otomatik ayarlamalardan etkilenir.
Tarama Bütçesi Neden Önemlidir?
Tarama bütçesi önemlidir çünkü Googlebot'un sitenizde kaç sayfa tarayabileceğini ve Googlebot'un dizinini güncellemek için web sayfalarınızı ne sıklıkla yeniden tarayabileceğini etkiler. Google'ın muazzam kaynakları vardır, ancak İnternet'teki tüm sayfaları tarayamaz (ve düzenli olarak yeniden tarayamaz). Sonuç olarak, Google web sitelerine bir tarama bütçesi ayırır.
Tarama bütçenizin önemsiz sayfalarda boşa gitmediğinden emin olmak için web sitenizin tarama verimliliğini optimize etmeye odaklanın.
Tarama Bütçesi Nasıl Artırılır?
1. Sunucunuzu Hızlandırın ve Sayfa Yükleme Sürelerini Azaltın
Sunucu yanıt süresi ve sayfa yükleme hızı taramayı doğrudan etkiler. Googlebot sitenizi tararken önce kaynakları indirir ve ardından bunları işler. Sunucunuz hızlı yanıt verirse, Googlebot web sitenizde daha fazla sayfa tarayabilir.
- Sunucunun ilk yanıt süresini iyileştirmek için hızlı ve güvenilir bir web barındırma hizmeti ve İçerik Dağıtım Ağı (CDN) kullanın.
- Robots.txt kullanarak büyük ancak kritik olmayan kaynakların taranmasını önleyerek, uzun yönlendirme zincirlerinden kaçınarak ve ağır ve kötü kodlanmış temaları ve eklentileri kaldırarak sayfa yükleme sürelerini azaltın.
2. Daha Fazla Bağlantı Ekleyin
Bir sayfaya verilen bağlantı sayısı o sayfanın Google için önemini gösterir. Googlebot, daha fazla geri bağlantıya ve dahili bağlantıya sahip sayfaları taramaya öncelik verir. Sayfalarınıza daha fazla dış ve iç bağlantı ekleyerek tarama bütçenizi artırın.
- İç bağlantı önerileri için Ranktracker'ın Site Denetimi gibi araçlarla web sitenizi denetleyin.
3. Bozuk Bağlantıları Düzeltin ve Yönlendirmeleri Azaltın
Çok fazla bozuk dahili bağlantı (404 veya 410 yanıt kodu) ve yönlendirilmiş URL (3xx) sitenizin tarama bütçesini boşa harcayabilir. Tarama bütçenizi optimize etmek için bozuk bağlantıları ve gereksiz yönlendirmeleri düzeltin.
- Sitenizdeki bozuk ve yönlendirme yapan URL'leri bulmak için Ranktracker'ın Site Denetimi gibi araçları kullanın.
4. Mümkünse Dizin Oluşturma API'sini kullanın
Dizin Oluşturma API'si, sitenize sayfa eklediğinizde, kaldırdığınızda veya güncellediğinizde Google'ı doğrudan bilgilendirmenizi sağlar. Bu, sayfalarınızın daha hızlı taranmasına yardımcı olur.
- Not: İndeksleme API'si şu anda canlı videolar ve iş ilanları gibi belirli kullanım durumları için kullanılabilir.
SSS
Googlebot Robots.txt'deki Tarama Gecikmesine Saygı Gösteriyor mu?
Hayır, Googlebot robots.txt dosyasında uygulanan tarama gecikmesi ayarlarına saygı göstermez.
Tarama Bütçesini Ne Zaman Önemsemelisiniz?
Çok büyük bir site (1 milyondan fazla sayfa) veya çok sık (günlük) içerik değişiklikleri olan orta ölçekli bir web sitesi işletiyorsanız tarama bütçesini önemsemelisiniz. Çoğu sitenin tarama bütçesi konusunda endişelenmesine gerek yoktur.
Web Sitem İçin Tarama Bütçesini Nasıl Kontrol Edebilirim?
Tarama bütçesi için kesin rakamı hiçbir yerde bulamazsınız. Ancak, Google tarama etkinliğinin genel görünümünü Google Search Console'daki Tarama İstatistikleri raporundan kontrol edebilirsiniz.
Web sitenizin SEO'sunu ve tarama verimliliğini geliştirme hakkında daha fazla bilgi için Ranktracker Blog 'u ziyaret edin ve kapsamlı SEO Kılavuzumuzu inceleyin. Ayrıca, SEO Sözlüğümüzden temel SEO terimlerini ve kavramlarını öğrenin.
