Kas yra "Googlebot"?
"Googlebot" - taip vadinami "Google" žiniatinklio naršyklės robotai, kurie renka informaciją įvairioms "Google" paslaugoms, įskaitant paieškos indeksą.
Yra dvi pagrindinės jo versijos: "Googlebot Desktop" ir "Googlebot Smartphone". Įdiegus indeksavimą pagal mobiliuosius įrenginius, "Googlebot Smartphone" tapo pagrindiniu "Google" paieškos indeksą sudarančiu naršymo įrenginiu.
Kaip veikia "Googlebot"?
"Googlebot" nuolat naršo žiniatinklį, kad aptiktų naujų puslapių, siunčia puslapius apdoroti, kad jie būtų įtraukti į paieškos indeksą, ir pakartotinai naršo puslapius, ieškodamas naujos ir (arba) atnaujintos informacijos.
Šio proceso metu "Googlebot" griežtai laikosi robots.txt failų taisyklių ir puslapių bei nuorodų naršyklėms skirtų direktyvų.
Kodėl "Googlebot" yra svarbus?
"Googlebot" yra vienas iš pagrindinių įrankių, kuriais valdoma visa "Google" paieškos sistema. Be jo visa paieška (taigi ir SEO) neegzistuotų. Jei "Googlebot" neperskaitytų svetainės, ji nebūtų indeksuojama ir matoma rezultatuose.
Todėl SEO specialistai ir svetainių valdytojai turi suprasti, kaip veikia "Googlebot". Be to, svarbu užtikrinti, kad naršyklė tinkamai pasiektų svetainę ir nekiltų jokių nuskaitymo ar aptikimo problemų.
Geriausia "Crawl-Friendly" svetainės kūrimo praktika
Jei norite, kad "Googlebot" tinkamai naršytų jūsų svetainę ir indeksuotų puslapius, turite užtikrinti, kad būtų atlikti tam tikri veiksmai. Kadangi tai nėra vienkartinis įvykis, toliau pateikiama keletas geriausios praktikos pavyzdžių, kurių reikia laikytis reguliariai, kad svetainė būtų patogi nuskaitymui.
1. Patikrinkite Robots.txt failą
Svetainėje esančiame Robots.txt faile galite kontroliuoti, kas bus nuskaityta. Jis bendrauja su robotais naudodamas ropojimo direktyvas.
Turite įsitikinti, kad robots.txt failas neužkerta kelio "Google robotui" naršyti jūsų svetainės puslapius ir (arba) skyrius, kuriuos norite indeksuoti.
Tada, naudodami robots.txt testavimo įrankius, ieškokite klaidų faile.
Turėtumėte užtikrinti, kad robots.txt būtų prieinamas "Googlebot", t. y. nebūtų blokuojamas serverio lygmeniu.
2. Pateikite svetainių žemėlapius
Svetainės žemėlapių pateikimas yra paprasčiausias būdas pranešti "Google", kuriuos puslapius norite, kad jie būtų naršomi ir indeksuojami.
Sukurti svetainės žemėlapius nėra sudėtinga, jei naudojate bet kurį populiarų "WordPress" SEO įskiepį, pavyzdžiui, " Yoast" arba "Rank Math". Jie automatiškai sukurs svetainės žemėlapius, kuriuos galėsite pateikti.
Sugeneruotas URL atrodys taip: yourdomainname.com/sitemap_index.html
Norėdami rankiniu būdu pateikti svetainės žemėlapio URL, turite apsilankyti "Google" paieškos konsolėje ir pagrindinio meniu skiltyje "Indeksas" spustelėti "Svetainės žemėlapiai".
3. Išmintingai naudokite "Crawler" direktyvas
Be robots.txt failo, yra puslapio lygmens direktyvų, kurios praneša, kuriuos puslapius leidžiama (arba neleidžiama) naršyti.
Todėl turite užtikrinti, kad puslapiuose, kuriuos norite indeksuoti, nebūtų direktyvos "noindex". Panašiai įsitikinkite, kad jie neturi direktyvos "nofollow", jei norite, kad jų išeinančios nuorodos taip pat būtų nuskaitytos.
Galite naudoti "Chrome" ir "Firefox" skirtą SEO įrankių juostą, kad patikrintumėte puslapių direktyvas.
4. Pateikite vidines nuorodas tarp puslapių
Dar vienas paprastas būdas padėti puslapiui greičiau būti indeksuotam - susieti jį su kitu jau indeksuotu puslapiu. Kadangi "Googlebot" iš naujo peržiūri puslapius, jis ras vidinę nuorodą ir greitai ją peržiūrės.
Be naršymo, vidinės nuorodos perduoda puslapiams vadinamąsias "nuorodų sultis" ir taip didina jų PageRank.
5. Naudokite svetainės auditą, kad rastumėte nuskaitymo ir indeksavimo problemas
Galiausiai galite naudoti svetainių audito įrankius, kad rastumėte svetainių indeksavimo ir nuskaitymo problemas.
Svetainės auditas gali padėti rasti neveikiančių puslapių, perteklinių nukreipimų, nukreipimų grandinių, neindeksuojamų puslapių, "nofollow" nuorodų, našlaičių puslapių (neturinčių vidinių nuorodų) ir kt.
Savo svetainės SEO būklę galite nemokamai stebėti naudodamiesi tokiais įrankiais kaip "Ranktracker" interneto auditas.
DUK
Ar naršymas ir indeksavimas yra tas pats?
Ne, šie du dalykai nėra tapatūs. Naršymas - tai puslapių ir nuorodų aptikimas žiniatinklyje. Indeksavimas reiškia turinio ir sąsajų tarp puslapių, aptiktų naršant, saugojimą, analizę ir tvarkymą.
Tik po to, kai puslapis indeksuojamas, jis gali būti rodomas kaip atitinkamų užklausų rezultatas.
Ar galiu patikrinti, ar mano svetainę pasiekiantis žiniatinklio naršyklė tikrai yra "Googlebot"?
Jei nerimaujate, kad į jūsų svetainę gali patekti šiukšlintojai ar kiti pažeidėjai, prisistatantys "Google" robotais, galite patikrinti, ar naršyklė iš tikrųjų yra "Google" naršyklė.
Koks yra pagrindinis "Googlebot" naršyklės rodytuvas?
"Googlebot" išmanusis telefonas šiandien yra pagrindinis naršyklės naudotojas.
Vartotojo agento simbolis: Googlebot
Pilna naudotojo agento eilutė: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, kaip Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (suderinama; Googlebot/2.1; +http://www.google.com/bot.html)
Visą "Googlebot" naršyklių sąrašą rasite čia.
