Čo je Googlebot?
Googlebot je názov pre webové prehľadávače spoločnosti Google, ktoré zhromažďujú informácie pre rôzne služby spoločnosti Google vrátane indexu vyhľadávania.
Má dve hlavné verzie: Googlebot Desktop a Googlebot Smartphone. Po zavedení indexovania podľa mobilných zariadení sa Googlebot Smartphone stal hlavným prehľadávačom, ktorý poháňa index vyhľadávania Google.
Ako teda Googlebot funguje?
Googlebot neustále prehľadáva web, aby objavil nové stránky, odosiela stránky na spracovanie, aby ich pridal do indexu vyhľadávania, a opätovne prehľadáva stránky, aby vyhľadal nové/aktualizované informácie.
Počas tohto procesu robot Google prísne dodržiava pravidlá v súboroch robots.txt a smernice pre prehľadávače na stránkach a odkazoch.
Prečo je Googlebot dôležitý?
Googlebot je jedným z hlavných nástrojov, ktoré poháňajú celý vyhľadávač Google. Bez neho by celé vyhľadávanie (a teda aj SEO) neexistovalo. Ak by Googlebot neprehľadával webové stránky, neboli by indexované a viditeľné vo výsledkoch.
Preto musia odborníci na SEO a webmasteri pochopiť, ako Googlebot funguje. Okrem toho je dôležité zabezpečiť, aby prehľadávač správne pristupoval k lokalite bez akýchkoľvek problémov s prehľadávateľnosťou alebo objaviteľnosťou.
Osvedčené postupy pre webovú lokalitu vhodnú pre crawlov
Ak chcete, aby robot Google správne prehľadával váš web a indexoval stránky, musíte zabezpečiť určité veci. Keďže nejde o jednorazovú udalosť, nižšie uvádzame niektoré z osvedčených postupov, ktoré treba pravidelne dodržiavať, aby ste udržali webovú lokalitu vhodnú na prehľadávanie.
1. Skontrolujte súbor Robots.txt
Súbor Robots.txt na webovej lokalite umožňuje kontrolovať, čo sa prehľadáva. S robotmi komunikuje pomocou smerníc pre crawler.
Musíte sa uistiť, že súbor robots.txt neznemožňuje robotovi Google prehľadávať stránky/časti vášho webu, ktoré chcete indexovať.
Potom vyhľadajte chyby v súbore pomocou testovacích nástrojov robots.txt.
Mali by ste zabezpečiť, aby bol súbor robots.txt prístupný pre Googlebot, t. j. aby nebol zablokovaný na úrovni servera.
2. Odoslanie máp stránok
Odosielanie máp stránok je najjednoduchší spôsob, ako dať spoločnosti Google vedieť, ktoré stránky chcete prehľadávať a indexovať.
Vytváranie máp stránok nie je zložité, ak používate niektorý z populárnych pluginov SEO pre WordPress, napríklad Yoast alebo Rank Math. Automaticky pre vás vytvoria mapy stránok, ktoré môžete odoslať.
Vygenerovaná adresa URL bude vyzerať takto: yourdomainname.com/sitemap_index.html
Ak chcete manuálne odoslať adresu URL mapy lokality, musíte navštíviť službu Google Search Console a v hlavnej ponuke v časti "Index" kliknúť na položku "Sitemaps".
3. Múdre používanie smerníc pre crawler
Okrem súboru robots.txt existujú aj smernice na úrovni stránok, ktoré informujú prehľadávače o tom, ktoré stránky sa smú (alebo nesmú) prehľadávať.
Preto je potrebné zabezpečiť, aby stránky, ktoré chcete indexovať, nemali smernicu "noindex". Podobne sa uistite, že nemajú smernicu "nofollow", ak chcete, aby sa prehľadávali aj ich odchádzajúce odkazy.
Na kontrolu smerníc na svojich stránkach môžete použiť SEO Toolbar pre prehliadače Chrome a Firefox.
4. Vnútorné prepojenia medzi stránkami
Ďalším jednoduchým spôsobom, ako pomôcť stránke k rýchlejšiemu indexovaniu, je prepojiť ju s inou stránkou, ktorá už je indexovaná. Keďže Googlebot opätovne prehľadáva stránky, nájde interný odkaz a rýchlo ho prehľadá.
Interné prepojenie okrem prehľadávania odovzdáva stránkam takzvaný "link juice", čím zvyšuje ich PageRank.
5. Využitie auditu webu na zistenie problémov s prehľadávateľnosťou a indexovateľnosťou
Nakoniec môžete použiť nástroje auditu stránok na zistenie problémov súvisiacich s indexovateľnosťou a prehľadateľnosťou vašich webových lokalít.
Audit webu vám pomôže nájsť nefunkčné stránky, nadmerné presmerovania, reťazce presmerovaní, stránky bez indexu, odkazy bez odkazu, osirelé stránky (stránky bez interných odkazov) a ďalšie.
Stav SEO svojej webovej lokality môžete bezplatne monitorovať pomocou nástrojov, ako je napríklad webový audit spoločnosti Ranktracker.
Často kladené otázky
Je prehľadávanie a indexovanie to isté?
Nie, tieto dve veci nie sú rovnaké. Prehľadávanie znamená objavovanie stránok a odkazov na webe. Indexovanie znamená ukladanie, analýzu a organizáciu obsahu a prepojení medzi stránkami, ktoré boli nájdené počas prehľadávania.
Až keď je stránka indexovaná, je k dispozícii na zobrazenie ako výsledok relevantných dotazov.
Môžem overiť, či je webový prehľadávač, ktorý pristupuje na moje webové sídlo, skutočne Googlebot?
Ak sa obávate, že na vašu webovú lokalitu môžu pristupovať spameri alebo iní narušitelia, ktorí sa vydávajú za robotov Google, môžete overiť, či ide skutočne o prehľadávač Google.
Čo je hlavným prehľadávačom pre Googlebot?
Googlebot Smartphone je dnes hlavným prehľadávačom.
Token používateľského agenta: Googlebot
Celý reťazec používateľského agenta: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, ako Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibilný; Googlebot/2.1; +http://www.google.com/bot.html)
Úplný zoznam prehľadávačov Googlebot nájdete tu.
