Kaj je plazilnik?
Brskalnik je internetni program, namenjen sistematičnemu brskanju po internetu. Brskalniki se najpogosteje uporabljajo kot sredstvo, s katerim iskalniki odkrivajo in obdelujejo strani za indeksiranje in prikazovanje v rezultatih iskanja.
Poleg pregledovalnikov, ki obdelujejo HTML, se nekateri posebni pregledovalniki uporabljajo tudi za indeksiranje slik in videoposnetkov.
V resničnem svetu je treba poznati predvsem spletne pregledovalnike, ki jih uporabljajo najboljši svetovni iskalniki: Googlebot, Bingbot, Yandex Bot in Baidu Spider.
Dobri in slabi plazilci
Dober pregledovalnik je robot, ki lahko pomaga vašemu spletnemu mestu, predvsem tako, da doda vašo vsebino v indeks iskanja ali vam pomaga pri reviziji spletnega mesta. Druge značilnosti dobrega iskalnika so, da se identificira, sledi vašim navodilom in prilagodi hitrost iskanja, da ne preobremeni vašega strežnika.
Slabi pajki so boti, ki lastniku spletnega mesta ne prinašajo dodane vrednosti in imajo lahko zlonamerne namene. Slabi pajki se lahko ne identificirajo, zaobidejo vaše direktive, po nepotrebnem obremenjujejo strežnike ter celo kradejo vsebino in podatke.
Vrste plazilcev
Obstajata dve glavni vrsti brskalnikov:
- Nenehno brskanje po spletnih straneh: Ti izvajajo pregledovanje 24 ur na dan, 7 dni v tednu, da odkrijejo nove strani in ponovno pregledajo starejše (npr. Googlebot).
- Boti na zahtevo: Ti bodo pregledali omejeno število strani in jih pregledali le na zahtevo (npr. robot Ranktracker Site Audit).
Zakaj je pomembno brskanje po spletni strani?
Osnovni namen iskalnika je poiskati informacije na vašem spletnem mestu in jih dodati v indeks iskanja. Če vaše spletno mesto ni preiskano, vaša vsebina ne bo prikazana v rezultatih iskanja.
Pregledovanje spletišč ni le enkraten dogodek, temveč je stalna praksa za aktivna spletišča. Boti redno preiskujejo spletna mesta, da bi našli in dodali nove strani v iskalni indeks, hkrati pa posodabljajo informacije o obstoječih straneh.
Čeprav je večina spletnih iskalnikov povezana z iskalniki, obstajajo tudi druge vrste spletnih iskalnikov. Na primer, robot Ranktracker Site Audit vam lahko pomaga ugotoviti, kaj je narobe z vašo spletno stranjo z vidika SEO.
Kako delujejo plazilci?
Skratka, spletni pregledovalnik, kot je Googlebot, bo URL-je na vašem spletnem mestu odkril prek zemljevidov spletnih mest, povezav in ročnih predložitev v konzoli za iskanje Google. Nato bo sledil "dovoljenim" povezavam na teh straneh.
Pri tem upošteva pravila robots.txt in vse atribute "nofollow" na povezavah in posameznih straneh.
Nekatera spletna mesta - tista z več kot milijon stranmi, ki se redno posodabljajo, ali tista z 10 tisoč stranmi vsebine, ki se dnevno spreminja - imajo lahko omejen "proračun za pregledovanje". Gre za količino časa in virov, ki jih lahko robot nameni spletnemu mestu v eni seji.
Prednostne naloge pri pregledovanju
Zaradi omejene zmogljivosti proračunov za pregledovanje delujejo pregledovalniki na podlagi niza prednostnih nalog za pregledovanje. Googlebot na primer upošteva naslednje:
- PageRank naslova URL
- Kako pogosto se stran(e) posodablja(jo)
- Ali je stran nova ali ne
Na ta način se lahko pregledovalnik najprej osredotoči na pregledovanje najpomembnejših strani na vašem spletnem mestu.
Različice pajkovnika za mobilne naprave v primerjavi z različicami za namizne računalnike
Googlebot ima dve glavni različici: Googlebot Desktop in Googlebot Smartphone. Danes Google uporablja indeksiranje najprej za mobilne naprave, kar pomeni, da je njegov agent za pametne telefone glavni Googlebot, ki se uporablja za pregledovanje in indeksiranje strani.
Tem različnim vrstam brskalnikov so lahko predstavljene različne različice spletnega mesta. Tehnično se bot identificira spletnemu strežniku z uporabo glave zahteve HTTP User-Agent in edinstvenega identifikatorja.
Najboljše prakse za spletno stran, prijazno do plazilcev
Če želite zagotoviti, da je vaše spletno mesto pripravljeno na pregledovanje, priporočamo več korakov. Če jih želite upoštevati, bodo ključne strani imele najboljše možnosti za indeksiranje in uvrstitev.
1. Preverite datoteko Robots.txt
Datoteka robots.txt je datoteka na vašem spletnem mestu, ki komunicira s temi roboti s pomočjo vrste direktiv za brskalnike. Prepričajte se, da dobrim robotom ne onemogoča dostopa do strani ali razdelkov, za katere želite, da se indeksirajo. Za preverjanje napak uporabite orodja, kot je Googlov tester robots.txt.
2. Pošiljanje zemljevidov spletnih strani
Oddaja zemljevida spletnega mesta je pomemben korak. Zemljevid mesta vsebuje seznam vseh strani vašega spletnega mesta, za katere želite, da se indeksirajo. V konzoli za iskanje Google lahko zemljevid spletnega mesta predložite v razdelku Indeks > Zemljevidi spletnih mest. Ta postopek je podoben tudi pri drugih iskalnikih, na primer pri orodjih Bing Webmaster Tools.
3. Pametna uporaba direktiv za pajke
Datoteka robots.txt z direktivami pove, katere strani so dovoljene ali prepovedane za pregledovanje. Pomembno je, da omogočite pregledovanje pomembnih strani v navigaciji vašega spletnega mesta. Vse direktive na ravni strani ne bodo vidne, če je vsebina v datoteki robots.txt prepovedana za pregledovanje.
4. Zagotovite notranje povezave med stranmi
Notranje povezovanje pomaga iskalnikom razumeti, o čem je posamezna stran, in jim pomaga, da strani najprej odkrijejo. Z notranjimi povezavami lahko tudi določite, kako se PageRank pretaka po celotnem spletnem mestu.
5. Zmanjšajte število sporočil 4xx in nepotrebnih preusmeritev
Napake 4xx sporočajo iskalniku, da vsebina v tem naslovu URL ne obstaja. Z orodji, kot je Ranktracker Site Audit, popravite te strani ali nastavite preusmeritev na živo stran. Odpravite tudi nepotrebne preusmeritve in verige preusmeritev, da zagotovite nemoteno pregledovanje.
6. Uporabite Ranktracker Site Audit za iskanje težav z možnostjo pregledovanja in indeksiranja
Orodje Ranktracker Site Audit vam lahko pomaga s preverjanjem vseh neindeksificiranih strani in povezav brez sledenja na vašem spletnem mestu. Odkrije lahko vse pokvarjene strani ali pretirane preusmeritve, vključno z verigami ali zankami preusmeritev, in opozori na vse osirotele strani.
Pogosta vprašanja
Ali sta pregledovanje in indeksiranje isto?
Ne. Brskanje se nanaša na postopek odkrivanja javno dostopnih spletnih strani in druge vsebine. Indeksiranje pomeni, da iskalniki analizirajo te strani in jih shranijo v svoj iskalni indeks.
Kateri so najaktivnejši pajki?
Najbolj priljubljeni iskalniki so Googlebot, Bingbot, Yandex Bot in Baidu Spider. Za več podrobnosti si oglejte to študijo prometa botov podjetja Imperva. Zanimivo je, da se je izkazalo, da je AhrefsBot, ki poganja celotno zbirko podatkov o povezavah, drugi najaktivnejši brskalnik za Googlebotom.
Ali pajki škodujejo moji spletni strani?
Čeprav večina pajkov ne škoduje vaši spletni strani, obstajajo tudi slabi pajki, ki lahko škodujejo. Škodljivi brskalniki lahko porabijo vašo pasovno širino, zaradi česar se strani upočasnijo, in poskušajo ukrasti podatke ali strgati vsebino z vašega spletnega mesta.
