Wat is Crawl Budget?
Het crawlbudget is de hoeveelheid tijd en middelen die een zoekmachine toewijst aan het crawlen van een bepaalde website. Met andere woorden, het is het maximale aantal pagina's dat een zoekmachine kan crawlen op uw site binnen een bepaald tijdsbestek. Het crawlbudget kan variëren voor verschillende zoekmachines (of crawlers).
Google stelt dat je je geen zorgen moet maken over het crawlbudget, tenzij:
- Uw site heeft meer dan 1 miljoen unieke pagina's met inhoud die ongeveer één keer per week verandert.
- Je hebt een middelgrote website (ongeveer 10.000 pagina's) en verandert de inhoud vaak (dagelijks).
- Je beheert een nieuwswebsite.
- Search Console classificeert de meerderheid van de URL's van uw site als "Ontdekt - momenteel niet geïndexeerd".
Elke website krijgt een ander crawlbudget op basis van twee belangrijke factoren:
- Crawlvraag: Gedefinieerd door het aantal pagina's, de frequentie van het posten/bijwerken en de populariteit van de pagina's.
- Crawllimiet: Beïnvloed door de mogelijkheden van de server, de crawllimiet die is ingesteld door de site-eigenaar in Search Console, de crawllimiet van de zoekmachine en automatische aanpassingen door Google op basis van de responstijden van de server.
Waarom is het crawlbudget belangrijk?
Het crawlbudget is belangrijk omdat het beïnvloedt hoeveel pagina's Googlebot kan crawlen op uw site en hoe vaak Googlebot uw webpagina's opnieuw kan crawlen om zijn index bij te werken. Google heeft enorme middelen, maar kan niet alle pagina's van het internet crawlen (en regelmatig opnieuw crawlen). Daarom wijst Google een crawlbudget toe aan websites.
Om ervoor te zorgen dat je crawlbudget niet wordt verspild aan onbelangrijke pagina's, moet je je richten op het optimaliseren van de crawlefficiëntie van je website.
Hoe het crawlbudget verhogen?
1. Versnel uw server en verkort de laadtijd van pagina's
De responstijd van de server en de laadsnelheid van de pagina hebben een directe invloed op het crawlen. Wanneer Googlebot uw site crawlt, worden eerst bronnen gedownload en vervolgens verwerkt. Als uw server snel reageert, kan Googlebot meer pagina's op uw website crawlen.
- Gebruik een snelle en betrouwbare webhostingservice en een Content Delivery Network (CDN) om de initiële responstijd van de server te verbeteren.
- Verlaag de laadtijden van pagina's door het crawlen van grote maar niet-kritieke bronnen te voorkomen met robots.txt, lange omleidingsketens te vermijden en zware en slecht gecodeerde thema's en plugins te verwijderen.
2. Meer koppelingen toevoegen
Het aantal links naar een pagina geeft aan hoe belangrijk deze is voor Google. Googlebot crawlt bij voorkeur pagina's met meer backlinks en interne links. Verhoog uw crawlbudget door meer externe en interne links aan uw pagina's toe te voegen.
- Voor interne linking suggesties, audit uw website met tools zoals Ranktracker's Site Audit.
3. Gebroken koppelingen repareren en omleidingen verminderen
Te veel gebroken interne links (404 of 410 responscodes) en omgeleide URL's (3xx) kunnen het crawlbudget van uw site verspillen. Repareer gebroken links en onnodige omleidingen om uw crawlbudget te optimaliseren.
- Gebruik tools zoals Ranktracker's Site Audit om gebroken en omleidende URL's op uw site te vinden.
4. Gebruik de Indexerings-API indien mogelijk
Met de Indexing API kunt u Google rechtstreeks op de hoogte stellen wanneer u pagina's op uw site toevoegt, verwijdert of bijwerkt. Hierdoor worden uw pagina's sneller gecrawld.
- Opmerking: De Indexing API is momenteel beschikbaar voor specifieke use cases zoals live video's en vacatures.
FAQs
Respecteert Googlebot de crawlvertraging in Robots.txt?
Nee, Googlebot respecteert de crawlvertragingsinstellingen in een robots.txt-bestand niet.
Wanneer moet je je zorgen maken over het kruipbudget?
Je moet je zorgen maken over het crawlbudget als je een zeer grote site beheert (meer dan 1 miljoen pagina's) of een middelgrote website met zeer frequente (dagelijkse) wijzigingen in de inhoud. De meeste sites hoeven zich geen zorgen te maken over het crawlbudget.
Hoe kan ik het crawlbudget voor mijn website controleren?
Je vindt nergens het exacte aantal voor het crawlbudget. Je kunt echter wel het overzicht van de crawlactiviteiten van Google bekijken in het rapport Crawlstatistieken in Google Search Console.
Voor meer inzichten in het verbeteren van uw website's SEO en crawl efficiëntie, bezoek de Ranktracker Blog en verken onze uitgebreide SEO Gids. Daarnaast, maak uzelf vertrouwd met de belangrijkste SEO termen en concepten in onze SEO Verklarende Woordenlijst.
