Googlebot nedir?
Googlebot, Google'ın arama dizini de dahil olmak üzere çeşitli Google hizmetleri için bilgi toplayan web tarayıcılarına verilen addır.
İki ana sürümü vardır: Googlebot Desktop ve Googlebot Smartphone. Mobil öncelikli indeksleme ile Googlebot Smartphone, Google'ın arama indeksine güç veren birincil tarayıcı haline geldi.
Peki, Googlebot nasıl çalışır?
Googlebot, yeni sayfalar keşfetmek için web'i sürekli tarar, sayfaları arama dizinine eklemek için işleme gönderir ve yeni / güncellenmiş bilgileri aramak için sayfaları yeniden tarar.
Bu işlem sırasında Googlebot, robots.txt dosyalarındaki kuralları ve sayfalardaki ve bağlantılardaki tarayıcılar için direktifleri sıkı bir şekilde takip eder.
Googlebot Neden Önemlidir?
Googlebot, tüm Google arama motoruna güç veren ana araçlardan biridir. O olmasaydı, tüm arama (ve dolayısıyla SEO) var olmazdı. Googlebot bir web sitesini taramazsa, o web sitesi dizine eklenmez ve sonuçlarda görünmez.
Bu nedenle, SEO uzmanlarının ve web yöneticilerinin Googlebot'un nasıl çalıştığını anlamaları gerekir. Ayrıca, tarayıcının siteye herhangi bir taranabilirlik veya keşfedilebilirlik sorunu olmadan düzgün bir şekilde erişmesini sağlamak önemlidir.
Sürüngen Dostu Bir Web Sitesi İçin En İyi Uygulamalar
Googlebot'un web sitenizi düzgün bir şekilde taramasını ve sayfaları dizine eklemesini istiyorsanız, bazı şeylerin yerinde olduğundan emin olmalısınız. Bu tek seferlik bir olay olmadığından, tarama dostu bir web sitesini korumak için düzenli olarak takip edilmesi gereken en iyi uygulamalardan bazıları aşağıda verilmiştir.
1. Robots.txt Dosyanızı Kontrol Edin
Web sitesindeki Robots.txt dosyası neyin taranacağını kontrol etmenizi sağlar. Crawler direktiflerini kullanarak botlarla iletişim kurar.
Robots.txt dosyanızın Googlebot'un web sitenizin dizine eklenmesini istediğiniz sayfalarını/bölümlerini taramasına izin vermediğinden emin olmanız gerekir.
Ardından, robots.txt test araçlarını kullanarak dosyada herhangi bir hata olup olmadığına bakın.
Robots.txt dosyasının Googlebot tarafından erişilebilir olduğundan, yani sunucu düzeyinde engellenmediğinden emin olmalısınız.
2. Site Haritalarını Gönderin
Site haritalarını göndermek, Google'a hangi sayfaların taranmasını ve dizine eklenmesini istediğinizi bildirmenin en basit yoludur.
WordPress'te Yoast veya Rank Math gibi herhangi bir popüler SEO eklentisi kullanıyorsanız site haritaları oluşturmak zor değildir. Bu eklentiler sizin için otomatik olarak site haritaları oluşturur ve bunları gönderebilirsiniz.
Oluşturulan URL şu şekilde görünecektir: yourdomainname.com/sitemap_index.html
Manuel olarak bir site haritası URL'si göndermek için Google Search Console'u ziyaret etmeniz ve ana menüdeki "Dizin" bölümünün altındaki "Site Haritaları "na tıklamanız gerekir.
3. Tarayıcı Yönergelerini Akıllıca Kullanın
Robots.txt dosyasının yanı sıra, tarayıcılara hangi sayfaların taranmasına izin verildiğini (veya verilmediğini) bildiren sayfa düzeyinde yönergeler vardır.
Bu nedenle, dizine eklenmesini istediğiniz sayfaların "noindex" yönergesine sahip olmadığından emin olmanız gerekir. Benzer şekilde, giden bağlantılarının da taranmasını istiyorsanız "nofollow" yönergesine sahip olmadıklarından emin olun.
Sayfalarınızdaki yönergeleri kontrol etmek için Chrome ve Firefox için SEO Araç Çubuğunu kullanabilirsiniz.
4. Sayfalar Arasında İç Bağlantılar Sağlayın
Bir sayfanın daha hızlı indekslenmesine yardımcı olmanın bir başka basit yolu da sayfayı zaten indekslenmiş olan başka bir sayfaya bağlamaktır. Googlebot sayfaları yeniden taradığından, dahili bağlantıyı bulacak ve hızlı bir şekilde tarayacaktır.
Taramanın yanı sıra, iç bağlantı "bağlantı suyu" olarak adlandırılan şeyi sayfalara aktararak PageRank'lerini artırır.
5. Taranabilirlik ve Dizine Eklenebilirlik Sorunlarını Bulmak için Site Denetimini Kullanın
Son olarak, web sitelerinizde dizine eklenebilirlik ve taranabilirlikle ilgili sorunları bulmak için Site Denetimi araçlarını kullanabilirsiniz.
Site Denetimi, bozuk sayfaları, aşırı yönlendirmeleri, yönlendirme zincirlerini, noindex sayfaları, nofollow bağlantıları, yetim sayfaları (iç bağlantısı olmayanlar) ve daha fazlasını bulmanıza yardımcı olabilir.
Ranktracker'ın Web Audit'i gibi araçlarla web sitenizin SEO sağlığını ücretsiz olarak izleyebilirsiniz.
SSS
Tarama ve indeksleme aynı şey midir?
Hayır, ikisi aynı şey değildir. Tarama, web üzerindeki sayfaların ve bağlantıların keşfedilmesi anlamına gelir. İndeksleme, tarama sırasında bulunan sayfalar arasındaki içeriği ve bağlantıları depolamak, analiz etmek ve düzenlemek anlamına gelir.
Bir sayfa ancak indekslendikten sonra ilgili sorgular için sonuç olarak görüntülenebilir.
Siteme erişen bir web tarayıcısının gerçekten Googlebot olup olmadığını doğrulayabilir miyim?
Spam göndericilerin veya diğer sorun çıkaranların Googlebot olduklarını iddia ederek web sitenize erişebileceğinden endişe ediyorsanız, tarayıcının gerçekten bir Google tarayıcısı olup olmadığını görmek için tarayıcıyı doğrulayabilirsiniz.
Googlebot için ana tarayıcı nedir?
Googlebot Akıllı Telefon bugün birincil tarayıcıdır.
Kullanıcı aracısı belirteci: Googlebot
Tam kullanıcı aracısı dizesi: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, Gecko gibi) Chrome/W.X.Y.Z Mobile Safari/537.36 (uyumlu; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot tarayıcılarının tam listesine buradan ulaşabilirsiniz.
