Co je Googlebot?
Googlebot je označení pro webové prohlížeče společnosti Google, které shromažďují informace pro různé služby Google, včetně indexu vyhledávání.
Má dvě hlavní verze: Googlebot Desktop a Googlebot Smartphone. Po zavedení indexace podle mobilních zařízení se Googlebot Smartphone stal hlavním vyhledávačem, který pohání index vyhledávání Google.
Jak tedy Googlebot funguje?
Googlebot neustále prochází web a objevuje nové stránky, odesílá stránky ke zpracování, aby je mohl přidat do indexu vyhledávání, a znovu prochází stránky a hledá nové/aktualizované informace.
Během tohoto procesu robot Google přísně dodržuje pravidla v souborech robots.txt a směrnice pro crawlery na stránkách a odkazech.
Proč je Googlebot důležitý?
Googlebot je jedním z hlavních nástrojů, které pohánějí celý vyhledávač Google. Bez něj by celé vyhledávání (a tedy i SEO) neexistovalo. Pokud by Googlebot neprohledával webové stránky, nebyly by indexovány a viditelné ve výsledcích vyhledávání.
Odborníci na SEO a webmasteři proto musí pochopit, jak Googlebot funguje. Kromě toho je důležité zajistit, aby se vyhledávač dostal na web správně a bez problémů s procházením nebo objevováním.
Osvědčené postupy pro webové stránky vhodné pro lezce
Pokud chcete, aby robot Google správně procházel váš web a indexoval stránky, musíte zajistit určité věci. Protože se nejedná o jednorázovou akci, níže uvádíme několik osvědčených postupů, které je třeba pravidelně dodržovat, abyste udrželi webové stránky vhodné pro procházení.
1. Zkontrolujte soubor Robots.txt
Soubor Robots.txt na webových stránkách umožňuje kontrolovat, co je procházeno. S roboty komunikuje pomocí směrnic crawleru.
Musíte zajistit, aby soubor robots.txt neznemožňoval robotovi Google procházet stránky/oddíly vašeho webu, které chcete indexovat.
Dále vyhledejte v souboru chyby pomocí nástrojů pro testování souboru robots.txt.
Měli byste zajistit, aby byl soubor robots.txt přístupný pro Googlebot, tj. aby nebyl blokován na úrovni serveru.
2. Odeslání map stránek
Odesílání map stránek je nejjednodušší způsob, jak dát společnosti Google vědět, které stránky chcete procházet a indexovat.
Vytváření map stránek není složité, pokud používáte některý z populárních pluginů SEO pro WordPress, například Yoast nebo Rank Math. Ty za vás automaticky vytvoří mapy stránek, které můžete odeslat.
Vygenerovaná adresa URL bude vypadat takto: yourdomainname.com/sitemap_index.html
Chcete-li mapu stránek URL odeslat ručně, musíte navštívit konzolu Google Search Console a kliknout na položku "Sitemaps" v části "Index" v hlavní nabídce.
3. Moudré používání směrnic pro crawler
Kromě souboru robots.txt existují směrnice na úrovni stránek, které informují prohlížeče o tom, které stránky mohou (nebo nemohou) být prohledávány.
Proto je třeba zajistit, aby stránky, které chcete indexovat, neměly direktivu "noindex". Stejně tak se ujistěte, že nemají direktivu "nofollow", pokud chcete, aby byly procházeny i jejich odchozí odkazy.
Ke kontrole směrnic na stránkách můžete použít SEO Toolbar pro Chrome a Firefox.
4. Vnitřní odkazy mezi stránkami
Dalším jednoduchým způsobem, jak pomoci stránce k rychlejšímu indexování, je propojit ji s jinou stránkou, která je již indexována. Jelikož robot Googlebot stránky znovu prochází, najde interní odkaz a rychle jej projde.
Kromě procházení předává interní propojení stránkám takzvaný "link juice", který zvyšuje jejich PageRank.
5. Audit webu k nalezení problémů s procházením a indexovatelností
Nakonec můžete pomocí nástrojů pro audit stránek zjistit problémy související s indexovatelností a procházením vašich webových stránek.
Audit webu vám pomůže najít nefunkční stránky, nadměrné přesměrování, řetězce přesměrování, neindexované stránky, odkazy s nofollow, osiřelé stránky (stránky bez interních odkazů) a další.
Stav SEO vašeho webu můžete zdarma sledovat pomocí nástrojů, jako je například webový audit společnosti Ranktracker.
Nejčastější dotazy
Je procházení a indexování totéž?
Ne, to není totéž. Procházení znamená vyhledávání stránek a odkazů na webu. Indexování znamená ukládání, analýzu a uspořádání obsahu a vazeb mezi stránkami, které byly nalezeny při procházení.
Teprve poté, co je stránka indexována, je k dispozici pro zobrazení jako výsledek relevantních dotazů.
Mohu ověřit, zda je webový crawler, který přistupuje na můj web, skutečně Googlebot?
Pokud se obáváte, že by na vaše webové stránky mohli přistupovat spammeři nebo jiní potížisté, kteří se vydávají za roboty Google, můžete si ověřit, zda se skutečně jedná o roboty Google.
Jaký je hlavní crawler pro Googlebot?
Smartphone Googlebot je dnes hlavním vyhledávačem.
Token uživatelského agenta: Googlebot
Celý řetězec uživatelského agenta: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, jako Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibilní; Googlebot/2.1; +http://www.google.com/bot.html)
Úplný seznam crawlerů Googlebot najdete zde.
