Was ist Crawlability?
Crawlability ist die Fähigkeit eines Suchmaschinen-Crawlers wie Googlebot, auf die Seiten und Ressourcen einer Website zuzugreifen. Crawlability-Probleme können sich negativ auf die Platzierung einer Website in der organischen Suche auswirken. Es ist wichtig, zwischen Crawlability und Indexability zu unterscheiden. Letztere bezieht sich auf die Fähigkeit einer Suchmaschine, eine Seite zu analysieren und sie in ihren Index aufzunehmen. Nur crawlbare und indizierbare Seiten können von Google entdeckt und indiziert werden, d. h. sie können in den Suchmaschinenergebnissen erscheinen.
Warum ist Crawlability wichtig?
Crawlability ist für jede Website, die organischen Suchverkehr erhalten soll, unerlässlich. Die Crawlability ermöglicht es Suchmaschinen, Seiten zu crawlen, um ihren Inhalt zu lesen und zu analysieren, damit er in den Suchindex aufgenommen werden kann. Ohne Crawling kann eine Seite nicht richtig indexiert werden. Google kann zwar manchmal eine URL indexieren, ohne sie zu crawlen, und zwar auf der Grundlage des URL-Textes und des Ankertextes der Backlinks, aber der Seitentitel und die Beschreibung werden nicht in den SERP angezeigt.
Die Crawlability ist nicht nur für Google wichtig. Andere spezielle Crawler müssen Webseiten aus verschiedenen Gründen crawlen. Der Site-Audit-Bot von Ranktracker zum Beispiel crawlt Webseiten, um den SEO-Zustand zu überprüfen und SEO-Probleme zu melden.
Wie wird die Crawlability einer Website beeinflusst?
1. Auffindbarkeit der Seite
Bevor eine Webseite gecrawlt werden kann, muss der Crawler die Seite erst einmal finden. Webseiten, die nicht in der Sitemap enthalten sind oder keine internen Links haben (so genannte verwaiste Seiten), können vom Crawler nicht gefunden und daher auch nicht gecrawlt oder indiziert werden. Wenn Sie möchten, dass eine Seite indiziert wird, muss sie in der Sitemap enthalten sein und über interne Links verfügen (idealerweise beides).
2. Nofollow-Links
Googlebot verfolgt keine Links mit dem Attribut "rel=nofollow". Wenn eine Seite zum Beispiel nur einen nofollow-Link hat, ist das in Bezug auf das Crawling gleichbedeutend mit gar keinen Links.
3. Robots.txt-Datei
Eine robots.txt-Datei teilt Web-Crawlern mit, auf welche Teile Ihrer Website sie zugreifen können und auf welche nicht. Wenn Sie möchten, dass die Seite gecrawlt werden kann, darf sie nicht in der robots.txt-Datei verboten werden.
4. Zugangsbeschränkungen
Webseiten können bestimmte Einschränkungen haben, die Crawler davon abhalten, sie zu erreichen, wie z. B:
- Eine Art von Anmeldesystem
- Schwarze Listen für Benutzer-Agenten
- Schwarze Liste für IP-Adressen
Wie Sie Crawlability-Probleme auf Ihrer Website finden
Der einfachste Weg, um Crawlability-Probleme auf einer Website zu erkennen, ist die Verwendung eines SEO-Tools wie Ranktracker's Site Audit oder die kostenlosen Ranktracker Webmaster Tools.
Die Ranktracker Webmaster Tools können die gesamte Website crawlen und so neue oder wiederkehrende Probleme im Laufe der Zeit aufspüren. Außerdem werden die Probleme in verschiedene Kategorien unterteilt, damit Sie die allgemeine SEO-Leistung Ihrer Website besser verstehen und wissen, warum Ihre Website nicht gecrawlt werden kann.
FAQs
Was ist der Unterschied zwischen Crawlability und Indexability?
Crawlability ist die Fähigkeit einer Suchmaschine, auf eine Webseite zuzugreifen und deren Inhalt zu crawlen. Indizierbarkeit ist die Fähigkeit einer Suchmaschine, den Inhalt zu analysieren und in ihren Index aufzunehmen. Eine Seite kann crawlbar, aber nicht indizierbar sein.
Kann eine Webseite in Google ohne Crawling indiziert werden?
Überraschenderweise kann Google eine URL ohne Crawling indizieren, so dass sie in den Suchergebnissen erscheint. Dies ist jedoch ein seltenes Vorkommnis. In diesem Fall verwendet Google Ankertext und URL-Text, um den Zweck und den inhaltlichen Schwerpunkt der Seite zu bestimmen. Beachten Sie, dass Google in diesem Fall nicht den Titel der Seite anzeigt. Dieses Phänomen wird in Googles Einführung in die robots.txt kurz erläutert.
Weitere Informationen zur Verbesserung der SEO Ihrer Website und zur Gewährleistung der Crawlability finden Sie im Ranktracker Blog und in unserem umfassenden SEO-Leitfaden. Machen Sie sich außerdem mit den wichtigsten SEO-Begriffen und Konzepten in unserem SEO-Glossar vertraut.
