Wat is Googlebot?
Googlebot is de naam voor de webcrawlers van Google die informatie verzamelen voor verschillende Google-services, waaronder hun zoekindex.
Het heeft twee hoofdversies: Googlebot Desktop en Googlebot Smartphone. Met de mobile-first indexering werd Googlebot Smartphone de primaire crawler voor de zoekindex van Google.
Dus, hoe werkt Googlebot?
Googlebot crawlt voortdurend over het web om nieuwe pagina's te ontdekken, stuurt de pagina's door voor verwerking om ze toe te voegen aan de zoekindex en crawlt pagina's opnieuw om te zoeken naar nieuwe/bijgewerkte informatie.
Tijdens dit proces volgt Googlebot strikt de regels in robots.txt-bestanden en richtlijnen voor crawlers op pagina's en links.
Waarom is Googlebot belangrijk?
Googlebot is een van de belangrijkste tools die de hele zoekmachine van Google aandrijven. Zonder Googlebot zou de hele zoekmachine (en dus SEO) niet bestaan. Als Googlebot een website niet crawlt, zou deze niet worden geïndexeerd en zichtbaar zijn in de resultaten.
SEO-professionals en webmasters moeten dus begrijpen hoe Googlebot werkt. Daarnaast is het belangrijk om ervoor te zorgen dat de crawler de site goed kan bereiken zonder problemen met crawlability of vindbaarheid.
Beste praktijken voor een kruipvriendelijke website
Als je wilt dat Googlebot je website goed crawlt en de pagina's indexeert, moet je ervoor zorgen dat bepaalde dingen goed staan. Omdat het geen eenmalige gebeurtenis is, volgen hieronder enkele van de best practices die je regelmatig moet volgen om een crawlvriendelijke website te onderhouden.
1. Controleer uw Robots.txt-bestand
Met het bestand Robots.txt op de website kun je bepalen wat er wordt gecrawld. Het communiceert met bots met behulp van crawler directives.
Je moet ervoor zorgen dat je robots.txt-bestand Googlebot niet verhindert om de pagina's/secties van je website te crawlen die je geïndexeerd wilt hebben.
Zoek vervolgens naar fouten in het bestand met robots.txt-testprogramma's.
Je moet ervoor zorgen dat de robots.txt toegankelijk is voor Googlebot, d.w.z. dat hij niet geblokkeerd is op serverniveau.
2. De sitemaps indienen
Het indienen van sitemaps is de eenvoudigste manier om Google te laten weten welke pagina's u wilt laten crawlen en indexeren.
Het maken van sitemaps is niet moeilijk als je een populaire SEO plugin op WordPress gebruikt, zoals Yoast of Rank Math. Deze maken automatisch sitemaps voor je, die je kunt indienen.
De gegenereerde URL ziet er als volgt uit: uwdomeinnaam.nl/sitemap_index.html
Om handmatig een sitemap-URL in te dienen, gaat u naar Google Search Console en klikt u op "Sitemaps" onder het gedeelte "Index" in het hoofdmenu.
3. Gebruik Crawler-richtlijnen verstandig
Naast het robots.txt-bestand zijn er richtlijnen op paginaniveau die crawlers laten weten welke pagina's wel (of niet) mogen worden gecrawld.
Je moet er dus voor zorgen dat de pagina's die je wilt laten indexeren geen "noindex"-richtlijn hebben. Zorg er ook voor dat ze geen "nofollow"-richtlijn hebben als je wilt dat hun uitgaande links ook worden gecrawld.
U kunt de SEO Toolbar voor Chrome en Firefox gebruiken om de richtlijnen op uw pagina's te controleren.
4. Zorg voor interne links tussen pagina's
Een andere eenvoudige manier om een pagina sneller te laten indexeren is door deze te linken naar een andere pagina die al is geïndexeerd. Omdat Googlebot pagina's opnieuw doorzoekt, zal hij de interne link vinden en snel crawlen.
Naast crawlen geeft intern linken het zogenaamde "link juice" door aan de pagina's, waardoor hun PageRank toeneemt.
5. Site-audit gebruiken om problemen met crawlability en indexeerbaarheid te vinden
Ten slotte kunt u Site Audit-tools gebruiken om problemen op te sporen met betrekking tot indexeerbaarheid en crawlability op uw websites.
De Site Audit kan je helpen bij het vinden van gebroken pagina's, overmatige redirects, redirectketens, noindexpagina's, nofollow-links, verweesde pagina's (pagina's zonder interne links) en nog veel meer.
U kunt de SEO-gezondheid van uw website gratis controleren met tools zoals de Web Audit van Ranktracker.
FAQs
Is crawlen en indexeren hetzelfde?
Nee, de twee zijn niet hetzelfde. Crawlen impliceert het ontdekken van pagina's en links op het web. Indexeren verwijst naar het opslaan, analyseren en organiseren van de inhoud en verbindingen tussen pagina's die zijn gevonden tijdens het crawlen.
Pas nadat een pagina is geïndexeerd, is deze beschikbaar om als resultaat te worden weergegeven bij relevante zoekopdrachten.
Kan ik controleren of een webcrawler die mijn site bezoekt echt Googlebot is?
Als u bang bent dat spammers of andere herrieschoppers uw website bezoeken en beweren dat het Googlebots zijn, kunt u de crawler controleren om te zien of het daadwerkelijk een Google-crawler is.
Wat is de belangrijkste crawler voor Googlebot?
Googlebot Smartphone is tegenwoordig de primaire crawler.
Gebruikersagent token: Googlebot
Volledige user agent string: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, zoals Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatibel; Googlebot/2.1; +http://www.google.com/bot.html)
De volledige lijst van Googlebot-crawlers vind je hier.
