Hvad er crawlbarhed?
Crawlbarhed er evnen hos en søgemaskine-crawler, som Googlebot, til at få adgang til websider og ressourcer. Problemer med crawlability kan påvirke et websites organiske søgerangeringer negativt. Det er vigtigt at skelne mellem crawlability og indexability. Sidstnævnte henviser til en søgemaskines evne til at analysere en side og tilføje den til sit indeks. Kun sider, der kan crawles og indekseres, kan opdages og indekseres af Google, hvilket betyder, at de kan vises i søgemaskinens resultater.
Hvorfor er crawlbarhed vigtigt?
Crawlbarhed er afgørende for ethvert website, der skal modtage organisk søgetrafik. Crawlbarhed gør det muligt for søgemaskiner at crawle sider for at læse og analysere deres indhold, så det kan føjes til søgeindekset. En side kan ikke indekseres korrekt uden crawling. Selv om Google nogle gange kan indeksere en URL uden at crawle den baseret på URL-teksten og ankerteksten på dens backlinks, vises sidens titel og beskrivelse ikke på SERP.
Crawlbarhed er ikke kun vigtig for Google. Andre specifikke crawlere skal gennemgå websider af forskellige årsager. For eksempel crawler Ranktrackers Site Audit-bot websider for at tjekke for SEO-sundhed og rapportere eventuelle SEO-problemer.
Hvad påvirker en hjemmesides crawlbarhed?
1. Mulighed for at finde sider
Før en crawler kan crawle en webside, skal den først finde den pågældende webside. Websider, der ikke er i sitemap eller mangler interne links (kendt som forældreløse sider), kan ikke findes af crawleren og kan derfor ikke crawles eller indekseres. Hvis du vil have en side indekseret, skal den være med i sitemap og have interne links (helst begge dele).
2. Nofollow-links
Googlebot følger ikke links med attributten "rel=nofollow". Hvis en side f.eks. kun har ét nofollow-link, svarer det til slet ikke at have nogen links med hensyn til crawling.
3. Robots.txt-fil
En robots.txt-fil fortæller webcrawlere, hvilke dele af dit websted de kan og ikke kan få adgang til. Hvis du vil have, at siden skal kunne crawles, må den ikke være forbudt i robot.txt.
4. Adgangsbegrænsninger
Websider kan have specifikke begrænsninger, der forhindrer crawlere i at nå dem, f.eks:
- En eller anden form for login-system
- Sortlistning af brugeragenter
- Sortlistning af IP-adresser
Sådan finder du problemer med crawlbarhed på din hjemmeside
Den nemmeste måde at opdage problemer med crawlability på et website er at bruge et SEO-værktøj som Ranktracker's Site Audit eller de gratis Ranktracker Webmaster Tools.
Ranktracker Webmaster Tools kan crawle hele websitet og holde øje med nye eller tilbagevendende problemer over tid. Derudover opdeler den problemerne i forskellige kategorier, så du bedre kan forstå dit websteds samlede SEO-performance, og hvorfor dit websted ikke kan crawles.
Ofte stillede spørgsmål
Hvad er forskellen mellem crawlbarhed og indekserbarhed?
Crawlbarhed er en søgemaskines evne til at få adgang til en webside og crawle dens indhold. Indeksering er en søgemaskines evne til at analysere det indhold, den gennemsøger, og tilføje det til sit indeks. En side kan være crawlbar, men ikke indekserbar.
Kan en webside indekseres i Google uden at blive gennemsøgt?
Overraskende nok kan Google indeksere en URL uden crawling, så den vises i søgeresultaterne. Det er dog en sjælden begivenhed. Når det sker, bruger Google ankertekst og URL-tekst til at bestemme sidens formål og indholdsfokus. Bemærk, at Google ikke viser sidens titel i dette tilfælde. Denne begivenhed forklares kort i Googles introduktion til robots.txt.
Hvis du vil have mere indsigt i, hvordan du forbedrer din hjemmesides SEO og sikrer korrekt crawlbarhed, kan du besøge Ranktracker-bloggen og udforske vores omfattende SEO-guide. Derudover kan du gøre dig bekendt med vigtige SEO-termer og -begreber i vores SEO-ordliste.
