Vad är Crawl Budget?
Crawlbudgeten är den tid och de resurser som en sökmotor avsätter för crawling av en viss webbplats. Med andra ord är det det maximala antalet sidor som en sökmotor kan genomsöka på din webbplats inom en viss tidsram. Genomsökningsbudgeten kan variera för olika sökmotorer (eller crawlers).
Google säger att du inte bör oroa dig för genomsökningsbudgeten om inte:
- Din webbplats har mer än 1 miljon unika sidor med innehåll som ändras ungefär en gång i veckan.
- Du har en medelstor webbplats (cirka 10 000 sidor) och ändrar innehåll ofta (dagligen).
- Du driver en nyhetswebbplats.
- Search Console klassificerar majoriteten av webbadresserna på din webbplats som "Discovered - currently not indexed".
Varje webbplats får en annan genomsökningsbudget baserat på två huvudfaktorer:
- Krav pågenomsökning: Definieras av antalet sidor, frekvensen för publicering/uppdatering och sidornas popularitet.
- Gräns förgenomsökningshastighet: Påverkas av serverkapacitet, genomsökningsgräns som ställs in av webbplatsägaren i Search Console, sökmotorns genomsökningsgräns och automatiska justeringar av Google baserat på serverns svarstider.
Varför är genomsökningsbudgeten viktig?
Crawlbudgeten är viktig eftersom den påverkar hur många sidor Googlebot kan genomsöka på din webbplats och hur ofta Googlebot kan genomsöka dina webbsidor för att uppdatera sitt index. Google har enorma resurser, men kan ändå inte genomsöka (och regelbundet göra nya genomsökningar) av alla sidor på internet. Därför tilldelar Google en genomsökningsbudget till webbplatser.
För att säkerställa att din crawlbudget inte slösas bort på oviktiga sidor bör du fokusera på att optimera webbplatsens crawl-effektivitet.
Hur kan man öka genomsökningsbudgeten?
1. Snabba upp din server och minska laddningstiderna för sidor
Serverns svarstid och sidans laddningshastighet påverkar genomsökningen direkt. När Googlebot genomsöker din webbplats laddar den först ner resurser och bearbetar dem sedan. Om din server svarar snabbt kan Googlebot genomsöka fler sidor på din webbplats.
- Använd en snabb och tillförlitlig webbhotellstjänst och CDN (Content Delivery Network) för att förbättra serverns initiala svarstid.
- Minska sidornas laddningstider genom att förhindra genomsökning av stora men icke-kritiska resurser med hjälp av robots.txt, undvika långa omdirigeringskedjor och ta bort tunga och dåligt kodade teman och plugins.
2. Lägg till fler länkar
Antalet länkar till en sida indikerar hur viktig den är för Google. Googlebot prioriterar att genomsöka sidor med fler bakåtlänkar och interna länkar. Öka din crawlbudget genom att lägga till fler externa och interna länkar till dina sidor.
- För förslag på internlänkning kan du granska din webbplats med verktyg som Ranktracker's Site Audit.
3. Fixa trasiga länkar och minska antalet omdirigeringar
För många brutna interna länkar (404 eller 410 svarskoder) och omdirigerade webbadresser (3xx) kan slösa bort webbplatsens genomsökningsbudget. Åtgärda trasiga länkar och onödiga omdirigeringar för att optimera din crawlbudget.
- Använd verktyg som Ranktracker's Site Audit för att hitta trasiga och omdirigerande webbadresser på din webbplats.
4. Använd indexerings-API:et om möjligt
Med API:et Indexering kan du meddela Google direkt när du lägger till, tar bort eller uppdaterar sidor på din webbplats. Detta hjälper till att få dina sidor genomsökta snabbare.
- Indexerings-API:t är för närvarande tillgängligt för specifika användningsfall som livevideor och jobbannonser.
Vanliga frågor
Respekterar Googlebot Crawl-fördröjningen i Robots.txt?
Nej, Googlebot respekterar inte inställningarna för crawl-fördröjning som tillämpas i en robots.txt-fil.
När bör du bry dig om krypteringsbudgeten?
Du bör bry dig om crawlbudgeten om du driver en mycket stor webbplats (mer än 1 miljon sidor) eller en medelstor webbplats med mycket frekventa (dagliga) ändringar av innehållet. De flesta webbplatser behöver inte bekymra sig om genomsökningsbudgeten.
Hur kan jag kontrollera genomsökningsbudgeten för min webbplats?
Du hittar inte det exakta numret för genomsökningsbudgeten någonstans. Du kan dock kontrollera översikten över Googles genomsökningsaktivitet i rapporten Crawl Stats i Google Search Console.
För mer insikter om hur du förbättrar din webbplats SEO och crawl-effektivitet, besök Ranktracker Blog och utforska vår omfattande SEO-guide. Dessutom kan du bekanta dig med viktiga SEO-termer och begrepp i vår SEO-ordlista.
