Sådan bygger du en rank tracker ved hjælp af Python og Google Search API

Intro

Selv med betydningen af søgeordssporing forbyder Googles ToS (Terms of Service) scraping af SERP'er (Search Engine Results Pages).

Googles anti-scraping-foranstaltninger som CAPTCHA'er og IP-blokering øger omkostningerne til CAPTCHA-opløsningstjenester, herunder omkostningerne til roterende proxyer. Det gør hele SEO-overvågningsprocessen gennem webscraping endnu mere frustrerende.

Hvis du er i denne situation eller kæmper for at få nøjagtige og lovlige Google-søgedata til at spore søgeordsrangering, er her et lovligt og pålideligt alternativ. Lad os udforske, hvordan man bygger en rank tracker ved hjælp af Python og Google Search API.

Opbygning af en Rank Tracker ved hjælp af Python og Google Search API

For at opbygge en rank tracker ved hjælp af Python og Google Search API skal du have færdigheder i Python-programmering, API-håndtering, databasestyring og dataanalyse.

Bemærk, at denne vejledning fokuserer på at opbygge en rank tracker til global søgeordssporing. Til lokal og avanceret søgeordssporing kan det være nyttigt at integrere dit Python-script med en API til rangsporing.

Lad os nu dykke ned i processen med at opbygge en rank tracker ved hjælp af Python og Google Search API.

1. Opsæt dit Python-programmeringsmiljø og dine krav

Før du skriver et Python-script til at spore søgeordsrangering, skal du installere den nyeste version af Python fra den officielle hjemmeside. Installationsprocessen varierer afhængigt af det operativsystem, du kører.

Når den er installeret, skal du bekræfte installationen på kommandolinjen eller i terminalen. Installer derefter et IDE eller en kodeditor efter eget valg. Blandt IDE'erne anbefales VS code mest, da den understøtter de fleste Python-scriptingudvidelser og er let.

Dernæst skal du installere et virtuelt miljø for at adskille afhængighederne af hvert projekt, du udvikler, så du undgår potentielle konflikter. Og til sidst skal du installere de nødvendige Python-biblioteker og -værktøjer.

Blandt Pythons biblioteker og værktøjer skal du bruge Requests-biblioteket til at foretage API-opkald til Google Search API, _JSON _til at behandle API-svar, Datetime til at tidsstemple forespørgsler, SQlite til at gemme rangordningsdata og historik og Plotly eller Matplotlib til visualisering.

2. Konfigurer Google Search API'en

Når du har opsat og testet dit Python-programmeringsmiljø, skal du gå til siden Google Programmable Search Engine og oprette en ny eller brugerdefineret søgemaskine.

I denne vejledning skal du indstille din brugerdefinerede søgemaskine til at søge på tværs af hele internettet (global søgning) og kopiere dens ID- eller CX-værdi. Skift derefter side til Google Cloud Console, og aktiver Custom Search JSON API for at få en API-nøgle.

Når du har fået CX-værdien og API-nøglen, skal du gemme de to på en sikker måde i en konfigurationsfil. Undgå altid hardcoding af CX-værdien eller API-nøglen for at reducere sikkerhedsrisici.

3. Skriv et velstruktureret Python-script

Indtil videre har du et korrekt konfigureret programmeringsmiljø og ID'et (plus API-nøglen) til en brugerdefineret Google-søgemaskine.

Her kan du se, hvordan du strukturerer dit Python-script i modulære funktioner for at sikre en smidig og automatiseret søgeordssporingsproces.

Først skal du strukturere dit projekt, så det indeholder filerne _config.py, tracker.py, database.db og requirements.txt, så det bliver nemmere at navigere og vedligeholde.

Glem ikke data/mappen, der skal indeholde den lagrede ranglistehistorik. Når disse filer og mappen er på plads, skal du skrive følgende funktioner for at læse fra, skrive til eller ændre filerne:

a)En funktion til at forespørge Google Search API

Denne funktion skal acceptere et nøgleord som input og konstruere API-anmodningens URL ved hjælp af CX-værdien og API-nøglen fra config.py-filen. Den skal derefter sende anmodningen til Google Search API, som sender et JSON-svar tilbage.

Til sidst analyserer funktionen JSON-svaret og udtrækker titler, URL'er, uddrag og rangeringspositioner for de første 100 sider.

b)En funktion til at udtrække og gemme rangdata

Efter at have analyseret søgeresultaterne skal denne funktion finde dit websteds URL på den returnerede liste, bestemme dets placering og gemme placeringsdataene i et struktureret format i SQlite.

Funktionen skal løbe gennem søgeresultaterne og finde placeringen af dit websteds URL. Hvis den bliver fundet, skal den udtrække og registrere dens placering. Hvis den ikke findes, antager den, at dit websted ikke ligger i top 100 for det angivne søgeord.

Du kan få funktionen til at strukturere dataene i følgende SQlite-databasefelter - det søgte søgeord, data og tidspunkt for sporing, rangeret position og URL.

c)En funktion til at analysere data og visualisere dem

Når den er i databasen, henter denne funktion de lagrede rangeringsdata fra databasen, analyserer dem og bruger biblioteker som Plotly og Matplotlib til at visualisere tendenser. Du kan også få modellen til at sende data til statistiske modeller for at opdage fald og stigninger i placeringen og hjælpe dig med at overvåge SEO-indsatsen.

1. Automatiser Python-rangfølgeren

Test funktionaliteten af dit script, og implementer fejlhåndtering.

Scriptet skal f.eks. kunne håndtere timeouts eller prøve mislykkede anmodninger igen. Log også mislykkede anmodninger for at undgå at miste data.

Hvis du vil overvåge placeringen efter et bestemt interval, skal du automatisere hele sporingsprocessen ved hjælp af en planlægger som cron for at automatisere søgeordssporing efter et bestemt interval (hvor mange gange om dagen, ugen eller måneden). Hav triggere på plads til at advare dig, når placeringen falder markant.

2. Tilføj avancerede funktioner til din Python rank tracker

Når du er fortrolig med at opbygge en grundlæggende rank tracker, har du mulighed for at tilføje følgende avancerede funktioner:

• Enhedsspecifik sporing: Mobil- og desktop-placeringer varierer. Derfor giver Google Search API dig mulighed for at spore begge placeringer separat.

• Sporing af konkurrenter: Ud over dit website kan du også spore konkurrenternes URL'er.

• Geolokationsbaseret rangsporing: Du kan indsnævre til en bestemt placering og hente resultater, der afspejler søgeintentionerne hos brugerne i en bestemt by eller et bestemt land.

• Registrering af SERP-funktioner: Hvis du vil vide, om dine websider vises i billedresultaterne, featured snippets eller andre SERP-funktioner, giver Google Search API dig mulighed for at være så specifik.

På trods af de avancerede funktioner skal du være opmærksom på, at du har omkring 100 gratis forespørgsler om dagen. Når du har opbrugt dem, skal du betale. Du kan også kun trække op til 100 søgeresultater. Derfor er det vigtigt at kombinere din rank tracker med en tredjeparts rank tracker API for at udvide dens funktionalitet.

Indpakning!

Og der har du det! De fem trin, du skal følge for at bygge en rank tracker ved hjælp af Python og Google Search API.

Husk, at Google Search API begrænser din sporing til 100 søgeresultater og 100 forespørgsler om dagen. På trods af dette kan du effektivt og lovligt spore søgeordsrangering uden IP-forbud eller udløsning af CAPTCHA'er. Desuden har du lov til at fordele forespørgsler på flere konti, hvilket øger antallet af forespørgsler, du kan sende inden for en dag.