Hvad er Crawl Budget?
Crawl-budgettet er den tid og de ressourcer, en søgemaskine bruger på at crawle et bestemt website. Med andre ord er det det maksimale antal sider, en søgemaskine kan gennemgå på dit websted inden for en bestemt tidsramme. Crawlbudgettet kan variere for forskellige søgemaskiner (eller crawlere).
Google siger, at du ikke skal bekymre dig om crawl-budgettet, medmindre:
- Dit website har mere end 1 million unikke sider med indhold, der ændres ca. en gang om ugen.
- Du har et mellemstort website (ca. 10.000 sider) og ændrer ofte indholdet (dagligt).
- Du driver et nyhedswebsted.
- Search Console klassificerer størstedelen af dit websteds URL'er som "Opdaget - i øjeblikket ikke indekseret".
Hvert website får et forskelligt crawl-budget baseret på to hovedfaktorer:
- Efterspørgsel efter gennemsøgning: Defineres af antallet af sider, hyppigheden af opslag/opdateringer og sidernes popularitet.
- Grænse for crawlhastighed: Påvirket af serverkapacitet, crawlgrænse indstillet af webstedsejeren i Search Console, søgemaskinens crawlinggrænse og automatiske justeringer af Google baseret på serverens svartider.
Hvorfor er crawl-budgettet vigtigt?
Crawlbudgettet er vigtigt, fordi det påvirker, hvor mange sider Googlebot kan crawle på dit website, og hvor ofte Googlebot kan recrawle dine websider for at opdatere sit indeks. Google har enorme ressourcer, men kan alligevel ikke crawle (og regelmæssigt gencrawle) alle sider på internettet. Derfor tildeler Google et crawl-budget til websites.
For at sikre, at dit crawl-budget ikke bliver spildt på uvigtige sider, skal du fokusere på at optimere din hjemmesides crawl-effektivitet.
Hvordan øger man crawl-budgettet?
1. Gør din server hurtigere og reducer sidens indlæsningstid
Serverens responstid og sidens indlæsningshastighed har direkte indflydelse på crawling. Når Googlebot crawler din hjemmeside, downloader den først ressourcer og behandler dem derefter. Hvis din server reagerer hurtigt, kan Googlebot crawle flere sider på dit website.
- Brug en hurtig og pålidelig webhostingtjeneste og Content Delivery Network (CDN) for at forbedre serverens indledende svartid.
- Reducer sidens indlæsningstid ved at forhindre crawling af store, men ikke-kritiske ressourcer ved hjælp af robots.txt, undgå lange omdirigeringskæder og fjerne tunge og dårligt kodede temaer og plugins.
2. Tilføj flere links
Antallet af links til en side viser, hvor vigtig den er for Google. Googlebot prioriterer at crawle sider med flere backlinks og interne links. Forøg dit crawl-budget ved at tilføje flere eksterne og interne links til dine sider.
- Du kan få forslag til interne links ved at revidere dit website med værktøjer som Ranktracker's Site Audit.
3. Ret ødelagte links og reducer antallet af omdirigeringer
For mange ødelagte interne links (404- eller 410-svarskoder) og omdirigerede URL'er (3xx) kan spilde dit websteds crawl-budget. Ret ødelagte links og unødvendige omdirigeringer for at optimere dit crawl-budget.
- Brug værktøjer som Ranktracker's Site Audit til at finde ødelagte og omdirigerende URL'er på dit website.
4. Brug indekserings-API'en, hvis det er muligt
Med indekserings-API'en kan du give Google direkte besked, når du tilføjer, fjerner eller opdaterer sider på dit website. Det hjælper med at få dine sider crawlet hurtigere.
- Bemærk: Indekserings-API'en er i øjeblikket tilgængelig for specifikke brugsscenarier som livevideoer og jobopslag.
Ofte stillede spørgsmål
Respekterer Googlebot crawl-forsinkelsen i Robots.txt?
Nej, Googlebot respekterer ikke de indstillinger for crawl-forsinkelse, der anvendes i en robots.txt-fil.
Hvornår skal du bekymre dig om crawl-budgettet?
Du bør bekymre dig om crawlbudgettet, hvis du driver et meget stort websted (mere end 1 million sider) eller et mellemstort websted med meget hyppige (daglige) ændringer i indholdet. De fleste sites behøver ikke at bekymre sig om crawl-budgettet.
Hvordan kan jeg tjekke crawl-budgettet for min hjemmeside?
Du kan ikke finde det nøjagtige tal for crawl-budgettet nogen steder. Men du kan se en oversigt over Googles crawl-aktivitet i rapporten Crawl Stats i Google Search Console.
Hvis du vil have mere indsigt i, hvordan du forbedrer din hjemmesides SEO og crawleffektivitet, kan du besøge Ranktracker-bloggen og udforske vores omfattende SEO-guide. Derudover kan du gøre dig bekendt med vigtige SEO-termer og -begreber i vores SEO-ordliste.
