Hva er Googlebot?
Googlebot er navnet på Googles webcrawlere som samler inn informasjon til Googles ulike tjenester, inkludert søkeindeksen.
Den har to hovedversjoner: Googlebot Desktop og Googlebot Smartphone. Med mobil-først-indeksering ble Googlebot Smartphone den primære crawleren som driver Googles søkeindeks.
Så, hvordan fungerer Googlebot?
Googlebot gjennomsøker hele tiden nettet for å finne nye sider, sender sidene til behandling for å legge dem til i søkeindeksen, og gjennomsøker sidene på nytt for å lete etter ny/oppdatert informasjon.
Under denne prosessen følger Googlebot strengt reglene i robots.txt-filer og direktiver for crawlere på sider og lenker.
Hvorfor er Googlebot viktig?
Googlebot er et av de viktigste verktøyene som driver hele Googles søkemotor. Uten den ville ikke hele søket (og dermed SEO) eksistert. Hvis Googlebot ikke gjennomsøkte et nettsted, ville det ikke bli indeksert og synlig i søkeresultatene.
Dermed må SEO-profesjonelle og webansvarlige forstå hvordan Googlebot fungerer. Dessuten er det viktig å sørge for at crawleren får tilgang til nettstedet på riktig måte uten problemer med gjennomsøkbarhet eller oppdagbarhet.
Beste fremgangsmåter for et crawlvennlig nettsted
Hvis du vil at Googlebot skal gjennomsøke nettstedet ditt på riktig måte og få sidene indeksert, må du sørge for at visse ting er på plass. Siden det ikke er en engangshendelse, er det nedenfor noen av de beste fremgangsmåtene du bør følge regelmessig for å opprettholde et gjennomsøkingsvennlig nettsted.
1. Sjekk Robots.txt-filen din
Med filen Robots.txt på nettstedet kan du kontrollere hva som gjennomsøkes. Den kommuniserer med roboter ved hjelp av crawler-direktiver.
Du må sørge for at robots.txt-filen ikke hindrer Googlebot i å gjennomsøke de sidene/delene av nettstedet ditt som du ønsker skal indekseres.
Deretter ser du etter eventuelle feil i filen ved hjelp av robots.txt-testverktøy.
Du bør sørge for at robots.txt er tilgjengelig for Googlebot, dvs. at den ikke er blokkert på servernivå.
2. Send inn nettstedkartene
Å sende inn nettstedskart er den enkleste måten å fortelle Google hvilke sider du vil at skal gjennomsøkes og indekseres.
Det er ikke vanskelig å lage nettstedskart hvis du bruker en populær SEO-plugin på WordPress, for eksempel Yoast eller Rank Math. De oppretter automatisk nettstedskart for deg, som du kan sende inn.
Den genererte URL-en vil se slik ut: yourdomainname.com/sitemap_index.html
Hvis du vil sende inn en URL for områdekart manuelt, må du gå til Google Search Console og klikke på "Sitemaps" under "Index"-delen i hovedmenyen.
3. Bruk Crawler-direktiver med omhu
I tillegg til robots.txt-filen finnes det direktiver på sidenivå som informerer crawlere om hvilke sider som er tillatt (eller ikke tillatt) å gjennomsøke.
Derfor må du sørge for at sidene du ønsker å indeksere, ikke har et "noindex"-direktiv. På samme måte må du sørge for at de ikke har et "nofollow"-direktiv hvis du vil at de utgående koblingene også skal gjennomsøkes.
Du kan bruke SEO Toolbar for Chrome og Firefox til å sjekke direktivene på sidene dine.
4. Sørg for interne lenker mellom sidene
En annen enkel måte å hjelpe en side med å bli indeksert raskere på, er å lenke den til en annen side som allerede er indeksert. Siden Googlebot gjennomsøker sider på nytt, vil den finne den interne lenken og gjennomsøke den raskt.
I tillegg til gjennomsøking gir intern lenking såkalt "lenkejuice" til sidene, noe som øker PageRank.
5. Bruk Site Audit til å finne problemer med gjennomsøkbarhet og indekserbarhet
Til slutt kan du bruke Site Audit-verktøy for å finne problemer knyttet til indekserbarhet og gjennomsøkbarhet på nettstedene dine.
Site Audit kan hjelpe deg med å finne ødelagte sider, overdrevne viderekoblinger, viderekoblingskjeder, sider som ikke er indeksert, nofollow-lenker, foreldreløse sider (sider uten interne lenker) og mye mer.
Du kan overvåke nettstedets SEO-tilstand gratis med verktøy som Ranktracker's Web Audit.
Vanlige spørsmål
Er gjennomsøking og indeksering det samme?
Nei, de to er ikke det samme. Crawling innebærer å finne sider og lenker på nettet. Indeksering innebærer å lagre, analysere og organisere innholdet og forbindelsene mellom sidene som ble funnet under gjennomsøkingen.
Det er først når en side er indeksert, at den kan vises som et resultat for relevante søk.
Kan jeg kontrollere om en webcrawler som går inn på nettstedet mitt, virkelig er Googlebot?
Hvis du er bekymret for at spammere eller andre bråkmakere går inn på nettstedet ditt og utgir seg for å være Googlebots, kan du verifisere crawleren for å se om det faktisk er en Google-crawler.
Hva er den viktigste søkeroboten for Googlebot?
Googlebot Smartphone er den primære crawleren i dag.
Brukeragent-token: Googlebot
Full brukeragentstreng: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, som Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)
Den fullstendige listen over Googlebot-crawlere finner du her.
