Wie man einen Rank Tracker mit Python & Google Search API erstellt

Intro

Trotz der Bedeutung des Keyword-Trackings verbieten die Nutzungsbedingungen von Google das Scraping von SERPs (Search Engine Results Pages).

Googles Anti-Scraping-Maßnahmen wie CAPTCHAs und IP-Sperren treiben die Kosten für CAPTCHA-Lösungsdienste in die Höhe, einschließlich der Kosten für rotierende Proxys. Dies macht den gesamten SEO-Überwachungsprozess durch Web Scraping noch frustrierender.

Nun, wenn Sie sich in dieser Situation befinden oder damit kämpfen, genaue und legale Google-Suchdaten zu erhalten, um das Keyword-Ranking zu verfolgen, haben wir hier eine legale und zuverlässige Alternative. Lassen Sie uns herausfinden, wie man mit Python und der Google Search API einen Rank Tracker erstellt.

Erstellung eines Rank Tracker mit Python & Google Search API

Um einen Rank Tracker mit Python und der Google Search API zu erstellen, benötigen Sie Kenntnisse in Python-Programmierung, API-Handling, Datenbankmanagement und Datenanalyse.

Beachten Sie, dass sich dieser Leitfaden auf die Erstellung eines Rank-Trackers für globales Keyword-Tracking konzentriert. Für lokales und fortgeschrittenes Keyword-Tracking sollte die Integration Ihres Python-Skripts mit einer Rank-Tracker-API nützlich sein.

Lassen Sie uns nun in den Prozess der Erstellung eines Rank-Trackers mit Python und Google Search API eintauchen.

1. Richten Sie Ihre Python-Programmierumgebung und die Anforderungen ein

Bevor Sie ein Python-Skript zum Verfolgen des Keyword-Rankings schreiben, müssen Sie die neueste Version von Python von der offiziellen Website installieren. Der Installationsprozess variiert je nach Betriebssystem, das Sie verwenden.

Nach der Installation überprüfen Sie die Installation in der Befehlszeile oder im Terminal. Installieren Sie dann eine IDE oder einen Code-Editor Ihrer Wahl. Unter den IDEs wird VS Code am meisten empfohlen, da es die meisten Python-Skripterweiterungen unterstützt und leichtgewichtig ist.

Als Nächstes installieren Sie eine virtuelle Umgebung, um die Abhängigkeiten der einzelnen Projekte, die Sie entwickeln, zu trennen und mögliche Konflikte zu vermeiden. Und schließlich installieren Sie die erforderlichen Python-Bibliotheken und -Tools.

Unter den Python-Bibliotheken und -Werkzeugen benötigen Sie die Requests-Bibliothek, um die API-Aufrufe an die Google Search API zu tätigen, _JSON _, um API-Antworten zu verarbeiten, Datetime, um Abfragen mit Zeitstempeln zu versehen, SQlite, um Ranking-Daten und den Verlauf zu speichern, und Plotly oder Matplotlib für die Visualisierung.

2. Konfigurieren Sie die Google Search API

Nachdem Sie Ihre Python-Programmierumgebung eingerichtet und getestet haben, gehen Sie auf die Seite Google Programmable Search Engine und erstellen eine neue oder benutzerdefinierte Suchmaschine.

Für dieses Tutorial stellen Sie Ihre benutzerdefinierte Suchmaschine so ein, dass sie das gesamte Web durchsucht (globale Suche), und kopieren Sie ihre ID oder ihren CX-Wert. Wechseln Sie dann zur Google Cloud Console und aktivieren Sie die Custom Search JSON API, um einen API-Schlüssel zu erhalten.

Nachdem Sie den CX-Wert und den API-Schlüssel erhalten haben, speichern Sie beide sicher in einer Konfigurationsdatei. Vermeiden Sie es immer, den CX-Wert oder den API-Schlüssel fest zu kodieren, um Sicherheitsrisiken zu verringern.

3. Schreiben Sie ein gut strukturiertes Python-Skript

Bis jetzt haben Sie eine korrekt konfigurierte Programmierumgebung und die ID (plus API-Schlüssel) einer benutzerdefinierten Google-Suchmaschine.

Hier erfahren Sie, wie Sie Ihr Python-Skript in modulare Funktionen strukturieren, um einen reibungslosen und automatisierten Keyword-Rank-Tracking-Prozess zu gewährleisten.

Strukturieren Sie zunächst Ihr Projekt so, dass es die Dateien _config.py, tracker.py, database.db und requirements.txt enthält, um eine bessere Navigation und Wartbarkeit zu gewährleisten.

Vergessen Sie nicht den Ordner data/, in dem der Verlauf der Rangliste gespeichert wird. Sobald diese Dateien und der Ordner vorhanden sind, schreiben Sie die folgenden Funktionen, um aus den Dateien zu lesen, in sie zu schreiben oder sie zu ändern:

a)Eine Funktion zur Abfrage der Google Search API

Diese Funktion sollte ein Schlüsselwort als Eingabe akzeptieren und die API-Anfrage-URL unter Verwendung des CX-Werts und des API-Schlüssels aus der Datei config.py konstruieren. Sie sollte dann die Anfrage an die Google Search API senden, die eine JSON-Antwort zurücksendet.

Zum Schluss analysiert die Funktion die JSON-Antwort und extrahiert die Titel, URLs, Snippets und Rankingpositionen der ersten 100 Seiten.

b)Eine Funktion zum Extrahieren und Speichern von Rangdaten

Nach dem Parsen der Suchergebnisse soll diese Funktion die URL Ihrer Website in der zurückgegebenen Liste finden, ihre Position im Ranking bestimmen und die Ranking-Daten in einem strukturierten Format in SQlite speichern.

Die Funktion sollte eine Schleife durch die Suchergebnisse ziehen und die Position der URL Ihrer Website finden. Wenn sie gefunden wird, sollte sie die Rangposition extrahieren und aufzeichnen. Wenn sie nicht gefunden wird, sollte sie davon ausgehen, dass Ihre Website nicht in den Top 100 für den angegebenen Suchbegriff rangiert.

Sie können die Funktion die Daten in die folgenden SQlite-Datenbankfelder strukturieren lassen - gesuchtes Schlüsselwort, Daten und Zeit der Verfolgung, Rangposition und URL.

c)Eine Funktion zur Analyse und Visualisierung von Daten

Einmal in der Datenbank, zieht diese Funktion die gespeicherten Ranking-Daten aus der Datenbank, analysiert sie und verwendet Bibliotheken wie Plotly und Matplotlib, um Trends zu visualisieren. Sie können das Modell die Daten auch an statistische Modelle weitergeben lassen, um Rankingverluste und -steigerungen zu erkennen und so Ihre SEO-Bemühungen zu überwachen.

1. Automatisieren Sie den Python-Rank Tracker

Testen Sie die Funktionalität Ihres Skripts und implementieren Sie eine Fehlerbehandlung.

Das Skript sollte zum Beispiel in der Lage sein, Timeouts zu behandeln oder fehlgeschlagene Anfragen zu wiederholen. Außerdem sollte es fehlgeschlagene Anfragen protokollieren, um Datenverluste zu vermeiden.

Um das Ranking nach einem bestimmten Intervall zu überwachen, automatisieren Sie den gesamten Tracking-Prozess mit einem Scheduler wie cron, um das Keyword-Tracking nach einem bestimmten Intervall zu automatisieren (wie oft am Tag, in der Woche oder im Monat). Setzen Sie Auslöser ein, die Sie alarmieren, wenn das Ranking signifikant sinkt.

2. Fügen Sie Ihrem Python-Rank Tracker erweiterte Funktionen hinzu

Sobald Sie mit der Erstellung eines grundlegenden Rank-Trackers vertraut sind, haben Sie die Möglichkeit, die folgenden erweiterten Funktionen hinzuzufügen:

• Gerätespezifische Verfolgung: Mobile und Desktop-Rankings sind unterschiedlich. Deshalb können Sie mit der Google Search API beide Rankings separat verfolgen.

• Verfolgung von Mitbewerbern: Abgesehen von Ihrer Website können Sie auch die URLs von Mitbewerbern verfolgen.

• Geolocation-basierte Rangverfolgung: Sie können sich auf einen bestimmten Ort beschränken und Ergebnisse abrufen, die die Suchabsichten der Nutzer in einer bestimmten Stadt oder einem bestimmten Land widerspiegeln.

• Erkennung von SERP-Funktionen: Wenn Sie wissen möchten, ob Ihre Seiten in den Bildergebnissen, in den Featured Snippets oder in anderen SERP-Funktionen erscheinen, können Sie dies mit der Google Search API genau bestimmen.

Beachten Sie trotz der fortschrittlichen Funktionen, dass Sie pro Tag etwa 100 Abfragen kostenlos durchführen können. Wenn Sie diese ausgeschöpft haben, müssen Sie zahlen. Außerdem können Sie nur bis zu 100 Suchergebnisse abrufen. Deshalb ist es unerlässlich, Ihren Rank Tracker mit einer API eines Drittanbieters zu kombinieren, um seine Funktionalität zu erweitern.

Einpacken!

Und da haben Sie es! Die fünf Schritte, die Sie befolgen müssen, um einen Rank Tracker mit Python und der Google Search API zu erstellen.

Denken Sie daran, dass die Google Search API Ihr Tracking auf 100 Suchergebnisse und 100 Abfragen pro Tag begrenzt. Trotzdem können Sie das Keyword-Ranking effizient und legal verfolgen, ohne dass IP-Sperren oder CAPTCHAs ausgelöst werden. Außerdem können Sie Anfragen auf mehrere Konten verteilen und so die Anzahl der Abfragen, die Sie pro Tag senden können, erhöhen.