Wat is crawlbaarheid?
Crawlability is het vermogen van een crawler van een zoekmachine, zoals Googlebot, om toegang te krijgen tot websitepagina's en -bronnen. Crawlability-problemen kunnen de organische zoekresultaten van een website negatief beïnvloeden. Het is essentieel om onderscheid te maken tussen crawlability en indexability. Dit laatste verwijst naar het vermogen van een zoekmachine om een pagina te analyseren en toe te voegen aan zijn index. Alleen crawlable en indexeerbare pagina's kunnen worden ontdekt en geïndexeerd door Google, wat betekent dat ze kunnen verschijnen in de resultaten van zoekmachines.
Waarom is Crawlability belangrijk?
Crawlability is van vitaal belang voor elke website die organisch zoekverkeer wil ontvangen. Crawlability zorgt ervoor dat zoekmachines pagina's kunnen crawlen om de inhoud te lezen en te analyseren zodat deze kan worden toegevoegd aan de zoekindex. Een pagina kan niet goed worden geïndexeerd zonder crawling. Hoewel Google soms een URL kan indexeren zonder deze te crawlen op basis van de URL-tekst en anchor-tekst van de backlinks, worden de paginatitel en -beschrijving niet weergegeven in de SERP.
Crawlbaarheid is niet alleen belangrijk voor Google. Andere specifieke crawlers moeten websitepagina's crawlen om verschillende redenen. De Site Audit bot van Ranktracker crawlt bijvoorbeeld websitepagina's om te controleren op SEO-gezondheid en eventuele SEO-problemen te rapporteren.
Wat beïnvloedt de crawlbaarheid van een website?
1. Vindbaarheid van pagina's
Voordat een crawler een webpagina kan crawlen, moet hij die webpagina eerst ontdekken. Webpagina's die niet in de sitemap staan of geen interne links hebben (bekend als weespagina's) kunnen niet worden gevonden door de crawler en kunnen daarom niet worden gecrawld of geïndexeerd. Als u wilt dat een pagina wordt geïndexeerd, moet deze zijn opgenomen in de sitemap en interne links hebben (idealiter beide).
2. Nofollow koppelingen
Googlebot volgt geen links met het "rel=nofollow" attribuut. Als een pagina bijvoorbeeld maar één nofollow-link heeft, staat dat qua crawling gelijk aan helemaal geen links.
3. Robots.txt bestand
Een robots.txt-bestand vertelt webcrawlers tot welke delen van uw site ze wel en niet toegang hebben. Als u wilt dat de pagina crawlablebaar is, moet deze niet worden verboden in de robot.txt.
4. Toegangsbeperkingen
Webpagina's kunnen specifieke beperkingen hebben waardoor crawlers ze niet kunnen bereiken, zoals:
- Een soort inlogsysteem
- Zwarte lijst van gebruikersagent
- Zwarte lijst van IP-adressen
Hoe u crawlability-problemen op uw website kunt vinden
De eenvoudigste manier om crawlability problemen op een website op te sporen is door gebruik te maken van een SEO tool zoals Ranktracker's Site Audit of de gratis Ranktracker Webmaster Tools.
Ranktracker Webmaster Tools kan de hele website crawlen, en nieuwe of terugkerende problemen in de gaten houden. Bovendien worden problemen opgesplitst in verschillende categorieën, zodat u een beter inzicht krijgt in de algehele SEO-prestaties van uw site en waarom uw site niet kan worden gecrawld.
FAQs
Wat is het verschil tussen crawlability en indexability?
Crawlability is het vermogen van een zoekmachine om een webpagina te openen en de inhoud ervan te crawlen. Indexeerbaarheid is het vermogen van een zoekmachine om de inhoud die het crawlt te analyseren en toe te voegen aan zijn index. Een pagina kan crawlable maar niet indexeerbaar zijn.
Kan een webpagina in Google worden geïndexeerd zonder te crawlen?
Verrassend genoeg kan Google een URL indexeren zonder deze te crawlen, waardoor deze wordt weergegeven in de zoekresultaten. Dit komt echter zelden voor. Wanneer dit gebeurt, gebruikt Google ankertekst en URL-tekst om het doel en de inhoudsfocus van de pagina te bepalen. Merk op dat Google in dit geval de titel van de pagina niet toont. Dit wordt kort uitgelegd in Google's Introductie tot robots.txt.
Voor meer inzichten in het verbeteren van uw website's SEO en het verzekeren van goede crawlability, bezoek de Ranktracker Blog en verken onze uitgebreide SEO Gids. Daarnaast, maak uzelf vertrouwd met de belangrijkste SEO termen en concepten in onze SEO Verklarende Woordenlijst.
