Was ist Googlebot?
Googlebot ist die Bezeichnung für die Webcrawler von Google, die Informationen für verschiedene Google-Dienste, einschließlich des Suchindex, sammeln.
Es gibt zwei Hauptversionen: Googlebot Desktop und Googlebot Smartphone. Mit der Mobile-First-Indexierung wurde Googlebot Smartphone zum primären Crawler, der den Google-Suchindex antreibt.
Wie funktioniert der Googlebot also?
Der Googlebot durchforstet ständig das Web, um neue Seiten zu entdecken, sendet die Seiten zur Verarbeitung, um sie in den Suchindex aufzunehmen, und durchforstet die Seiten erneut, um nach neuen/aktualisierten Informationen zu suchen.
Während dieses Prozesses befolgt der Googlebot strikt die Regeln in den robots.txt-Dateien und die Richtlinien für Crawler auf Seiten und Links.
Warum ist Googlebot wichtig?
Der Googlebot ist eines der wichtigsten Werkzeuge, die die gesamte Google-Suchmaschine antreiben. Ohne ihn würde die gesamte Suche (und damit auch SEO) nicht existieren. Wenn Googlebot eine Website nicht crawlen würde, wäre sie nicht indiziert und in den Ergebnissen sichtbar.
Daher müssen SEO-Experten und Webmaster verstehen, wie Googlebot funktioniert. Außerdem muss sichergestellt werden, dass der Crawler ordnungsgemäß auf die Website zugreifen kann, ohne dass es Probleme mit der Crawlability oder Auffindbarkeit gibt.
Bewährte Praktiken für eine krabbelfreundliche Website
Wenn Sie möchten, dass Googlebot Ihre Website richtig crawlt und die Seiten indiziert, müssen Sie sicherstellen, dass bestimmte Dinge vorhanden sind. Da es sich nicht um ein einmaliges Ereignis handelt, finden Sie im Folgenden einige der besten Praktiken, die Sie regelmäßig anwenden sollten, um eine crawl-freundliche Website zu erhalten.
1. Überprüfen Sie Ihre Robots.txt-Datei
Mit der Datei Robots.txt auf der Website können Sie kontrollieren, was gecrawlt wird. Sie kommuniziert mit Bots über Crawler-Richtlinien.
Sie müssen sicherstellen, dass Ihre robots.txt-Datei den Googlebot nicht daran hindert, die Seiten/Abschnitte Ihrer Website zu crawlen, die Sie indiziert haben möchten.
Suchen Sie anschließend mit Hilfe von robots.txt-Testtools nach Fehlern in der Datei.
Sie sollten sicherstellen, dass die robots.txt für Googlebot zugänglich ist, d. h. dass sie nicht auf Serverebene blockiert ist.
2. Einreichen der Sitemaps
Die Übermittlung von Sitemaps ist der einfachste Weg, Google mitzuteilen, welche Seiten gecrawlt und indiziert werden sollen.
Die Erstellung von Sitemaps ist nicht schwierig, wenn Sie ein beliebtes SEO-Plugin für WordPress verwenden, wie Yoast oder Rank Math. Sie erstellen automatisch Sitemaps für Sie, die Sie einreichen können.
Die generierte URL sieht wie folgt aus: ihrdomainname.de/sitemap_index.html
Um eine Sitemap-URL manuell einzureichen, müssen Sie die Google Search Console besuchen und im Hauptmenü unter dem Abschnitt "Index" auf "Sitemaps" klicken.
3. Crawler-Direktiven klug einsetzen
Neben der robots.txt-Datei gibt es Richtlinien auf Seitenebene, die Crawlern mitteilen, welche Seiten gecrawlt werden dürfen (oder nicht).
Sie müssen also sicherstellen, dass die Seiten, die indiziert werden sollen, keine "noindex"-Direktive haben. Stellen Sie ebenfalls sicher, dass sie keine "nofollow"-Direktive haben, wenn Sie wollen, dass auch ihre ausgehenden Links gecrawlt werden.
Sie können die SEO Toolbar für Chrome und Firefox verwenden, um die Richtlinien auf Ihren Seiten zu überprüfen.
4. Interne Links zwischen Seiten bereitstellen
Eine weitere einfache Möglichkeit, die Indizierung einer Seite zu beschleunigen, besteht darin, sie mit einer anderen Seite zu verlinken, die bereits indiziert ist. Da Googlebot die Seiten neu crawlt, findet er den internen Link und crawlt ihn schnell.
Abgesehen vom Crawling gibt die interne Verlinkung den so genannten "Link Juice" an die Seiten weiter und erhöht deren PageRank.
5. Verwenden Sie Site Audit, um Crawlability- und Indexability-Probleme zu finden
Schließlich können Sie Site Audit-Tools verwenden, um Probleme im Zusammenhang mit der Indexierbarkeit und Crawlability Ihrer Websites zu finden.
Das Site Audit kann Ihnen helfen, fehlerhafte Seiten, übermäßige Weiterleitungen, Weiterleitungsketten, nicht indizierte Seiten, Nofollow-Links, verwaiste Seiten (ohne interne Links) und vieles mehr zu finden.
Sie können den SEO-Zustand Ihrer Website mit Tools wie dem Web Audit von Ranktracker kostenlos überwachen.
FAQs
Ist Crawling und Indexierung das Gleiche?
Nein, das ist nicht das Gleiche. Crawling bedeutet das Auffinden von Seiten und Links im Web. Die Indexierung bezieht sich auf das Speichern, Analysieren und Organisieren des Inhalts und der Verbindungen zwischen Seiten, die beim Crawlen gefunden wurden.
Erst wenn eine Seite indiziert ist, kann sie bei entsprechenden Suchanfragen als Ergebnis angezeigt werden.
Kann ich überprüfen, ob ein Webcrawler, der auf meine Website zugreift, wirklich Googlebot ist?
Wenn Sie befürchten, dass Spammer oder andere Störenfriede auf Ihre Website zugreifen und sich als Googlebots ausgeben, können Sie den Crawler überprüfen, um festzustellen, ob es sich tatsächlich um einen Google-Crawler handelt.
Was ist der Haupt-Crawler für Googlebot?
Googlebot Smartphone ist heute der wichtigste Crawler.
Benutzeragent-Token: Googlebot
Vollständiger User-Agent-String: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)
Die vollständige Liste der Googlebot-Crawler finden Sie hier.
