Kaj je Googlebot?
Googlebot je ime za Googlove spletne pregledovalnike, ki zbirajo informacije za različne Googlove storitve, vključno z iskalnim indeksom.
Ima dve glavni različici: Googlebot Desktop in Googlebot Smartphone. Z indeksiranjem na podlagi mobilnih naprav je Googlebot Smartphone postal glavni pregledovalnik, ki poganja Googlov iskalni indeks.
Kako deluje Googlebot?
Googlebot nenehno preiskuje splet in odkriva nove strani, pošilja strani v obdelavo, da jih doda v iskalni indeks, in ponovno preiskuje strani ter išče nove/posodobljene informacije.
Pri tem Googlebot strogo upošteva pravila v datotekah robots.txt in direktive za brskalnike na straneh in povezavah.
Zakaj je Googlebot pomemben?
Googlebot je eno od glavnih orodij, ki poganjajo celoten Googlov iskalnik. Brez njega ne bi bilo celotnega iskanja (in s tem SEO). Če Googlebot ne bi prečesal spletne strani, ta ne bi bila indeksirana in vidna v rezultatih.
Zato morajo strokovnjaki za SEO in spletni skrbniki razumeti, kako deluje Googlebot. Poleg tega je treba zagotoviti, da bo iskalnik pravilno dostopal do spletnega mesta brez kakršnih koli težav z možnostjo iskanja ali odkrivanja.
Najboljše prakse za spletno stran, prijazno do plazilcev
Če želite, da Googlebot pravilno preišče vaše spletno mesto in indeksira strani, morate poskrbeti za določene stvari. Ker ne gre za enkraten dogodek, v nadaljevanju predstavljamo nekaj najboljših praks, ki jih je treba redno upoštevati, da ohranite spletno stran, prijazno do pregledovanja.
1. Preverite datoteko Robots.txt
Datoteka Robots.txt na spletnem mestu omogoča nadzor nad tem, kaj se prebira. Z roboti komunicira s pomočjo direktiv za pajke.
Zagotoviti morate, da datoteka robots.txt Googlovemu robotu ne onemogoča brskanja po straneh/oddelkih spletnega mesta, ki jih želite indeksirati.
Nato z orodji za testiranje robots.txt poiščite morebitne napake v datoteki.
Zagotoviti morate, da je robots.txt dostopen Googlovemu robotu, tj. da ni blokiran na ravni strežnika.
2. Pošljite zemljevide spletnih mest
Pošiljanje zemljevidov lokacij je najpreprostejši način, da Googlu sporočite, katere strani želite, da jih prebira in indeksira.
Ustvarjanje zemljevidov lokacij ni zapleteno, če uporabljate kateri koli priljubljen vtičnik SEO za WordPress, kot sta Yoast ali Rank Math. Ti vtičniki samodejno ustvarijo zemljevide spletnih mest, ki jih lahko predložite.
Ustvarjeni URL bo videti takole: yourdomainname.com/sitemap_index.html
Če želite ročno predložiti URL zemljevida mesta, morate obiskati konzolo za iskanje Google in v glavnem meniju v razdelku "Indeks" klikniti na "Zemljevidi mesta".
3. Pametna uporaba direktiv za pajke
Poleg datoteke robots.txt obstajajo tudi direktive na ravni strani, ki sporočajo, katere strani je dovoljeno (ali prepovedano) pregledovati.
Zato morate zagotoviti, da strani, ki jih želite indeksirati, nimajo direktive "noindex". Podobno se prepričajte, da nimajo direktive "nofollow", če želite, da se prebirajo tudi njihove izhodne povezave.
Za preverjanje direktiv na straneh lahko uporabite orodno vrstico SEO za Chrome in Firefox.
4. Zagotovite notranje povezave med stranmi
Še en preprost način za hitrejše indeksiranje strani je, da jo povežete z drugo stranjo, ki je že indeksirana. Ker Googlebot ponovno pregleduje strani, bo našel notranjo povezavo in jo hitro prebrskal.
Notranje povezovanje poleg iskanja posreduje stranem tudi tako imenovani "sok povezav", kar povečuje njihov PageRank.
5. Revizija spletnega mesta za iskanje težav z možnostjo iskanja in indeksiranja
Za iskanje težav, povezanih z indeksirljivostjo in optičnim pregledovanjem spletnih mest, lahko uporabite orodja za pregledovanje spletnih mest.
Z revizijo spletnega mesta lahko najdete pokvarjene strani, pretirane preusmeritve, verige preusmeritev, strani brez indeksa, povezave brez sledenja, osirotele strani (tiste brez notranjih povezav) in še več.
Z orodji, kot je Ranktrackerjeva spletna revizija, lahko brezplačno spremljate stanje SEO svoje spletne strani.
Pogosta vprašanja
Ali je iskanje in indeksiranje ista stvar?
Ne, to ni isto. Brskanje pomeni odkrivanje strani in povezav v spletu. Indeksiranje pomeni shranjevanje, analiziranje in urejanje vsebine in povezav med stranmi, ki so bile najdene med brskanjem.
Šele ko je stran indeksirana, je na voljo za prikaz kot rezultat ustreznih poizvedb.
Ali lahko preverim, ali je spletni pregledovalnik, ki dostopa do mojega spletnega mesta, res Googlebot?
Če vas skrbi, da bi spammerji ali drugi nepridipravi lahko dostopali do vašega spletnega mesta, češ da so Googlovi roboti, lahko preverite, ali gre dejansko za Googlovega pregledovalnika.
Kateri je glavni pregledovalnik za Googlebota?
Pametni telefon Googlebot je danes glavni pregledovalnik.
Token uporabniškega agenta: Googlebot
Celoten niz uporabniškega agenta: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, kot Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (združljiv; Googlebot/2.1; +http://www.google.com/bot.html)
Celoten seznam brskalnikov Googlebot je na voljo tukaj.
