Mi a Googlebot?
Googlebotnak nevezik a Google webkúszókat, amelyek információkat gyűjtenek a Google különböző szolgáltatásaihoz, többek között a keresőindexükhöz.
Két fő változata van: Googlebot Desktop és Googlebot Smartphone. A mobil-első indexeléssel a Googlebot Smartphone lett a Google keresőindexét működtető elsődleges lánctalpas.
Hogyan működik tehát a Googlebot?
A Googlebot folyamatosan feltérképezi a webet, hogy új oldalakat fedezzen fel, elküldi az oldalakat feldolgozásra, hogy felvegye őket a keresési indexbe, és újra feltérképezi az oldalakat, hogy új/frissített információkat keressen.
E folyamat során a Googlebot szigorúan betartja a robots.txt fájlokban szereplő szabályokat és a lánctalpasok számára az oldalakra és linkekre vonatkozó irányelveket.
Miért fontos a Googlebot?
A Googlebot az egyik fő eszköz, amely az egész Google keresőmotort működteti. Nélküle az egész keresés (és így a SEO) nem létezne. Ha a Googlebot nem mászna át egy webhelyet, az nem lenne indexelve és nem lenne látható a találatokban.
Ezért a SEO szakembereknek és a webmestereknek meg kell érteniük, hogyan működik a Googlebot. Emellett fontos biztosítani, hogy a lánctalpas megfelelően hozzáférjen az oldalhoz, anélkül, hogy a lánctalálhatósággal vagy a felfedezhetőséggel kapcsolatos problémák merülnének fel.
A legjobb gyakorlatok a csúszómászó-barát weboldalhoz
Ha azt szeretné, hogy a Googlebot megfelelően feltérképezze weboldalát és indexelje az oldalakat, bizonyos dolgokat biztosítania kell. Mivel ez nem egyszeri alkalom, az alábbiakban bemutatunk néhányat a legjobb gyakorlatok közül, amelyeket rendszeresen követnie kell a lánctalpas-barát weboldal fenntartása érdekében.
1. Ellenőrizze a Robots.txt fájlt
A webhelyen található Robots.txt fájl lehetővé teszi, hogy ellenőrizze, mi kerül feltérképezésre. A robotokkal a lánctalpas irányelvek segítségével kommunikál.
Biztosítania kell, hogy a robots.txt fájl ne tiltsa meg a Googlebotnak, hogy feltérképezze a weboldalának azon oldalait/részeit, amelyeket indexelni szeretne.
Ezután a robots.txt tesztelő eszközökkel keressen hibákat a fájlban.
Biztosítania kell, hogy a robots.txt elérhető legyen a Googlebot számára, azaz ne legyen blokkolva a szerver szintjén.
2. Küldje el a sitemapokat
A sitemapok benyújtása a legegyszerűbb módja annak, hogy a Google tudassa, mely oldalakat szeretné, ha feltérképeznék és indexelnék.
A sitemapok létrehozása nem bonyolult, ha bármelyik népszerű SEO plugint használja a WordPressen, például a Yoast vagy a Rank Math. Ezek automatikusan létrehozzák neked a sitemapokat, amelyeket elküldhetsz.
A generált URL így fog kinézni: adomainnév.com/oldalitérkép_index.html
A webhelytérkép URL-jének manuális elküldéséhez látogasson el a Google Search Console-ra, és kattintson a főmenü "Index" szakaszában a "Sitemaps" menüpontra.
3. Használja okosan a lánctalpas irányelveket
A robots.txt fájlon kívül léteznek oldalszintű direktívák, amelyek értesítik a lánctalpasokat, hogy mely oldalakat szabad (vagy nem szabad) feltérképezni.
Ezért biztosítania kell, hogy az indexelendő oldalakon ne legyen "noindex" direktíva. Hasonlóképpen, győződjön meg róla, hogy nincs "nofollow" direktíva, ha azt szeretné, hogy a kimenő linkjeiket is feltérképezzék.
A Chrome és Firefox böngészőhöz készült SEO eszköztárral ellenőrizheti az oldalain található irányelveket.
4. Belső linkek biztosítása az oldalak között
Egy másik egyszerű módja egy oldal gyorsabb indexelésének, ha egy másik, már indexelt oldalra hivatkozik. Mivel a Googlebot újra átnézi az oldalakat, meg fogja találni a belső linket, és gyorsan átnézi azt.
A lánctalpakon kívül a belső linkelés az úgynevezett "link juice"-t is átadja az oldalaknak, növelve azok PageRankjét.
5. Használja a Site Auditot a feltérképezhetőségi és indexálhatósági problémák megtalálásához
Végül, a Site Audit eszközökkel megtalálhatja a webhelyek indexálhatóságával és feltérképezhetőségével kapcsolatos problémákat.
A Site Audit segíthet megtalálni a törött oldalakat, a túlzott átirányításokat, átirányítási láncokat, noindex oldalakat, nofollow linkeket, árva oldalakat (belső linkek nélküli oldalakat) és még sok mást.
A webhely SEO-állapotát ingyenesen nyomon követheti olyan eszközökkel, mint a Ranktracker Web Audit.
GYIK
A kúszás és az indexelés ugyanaz a dolog?
Nem, a kettő nem ugyanaz. A kúszás a webes oldalak és linkek felfedezését jelenti. Az indexelés a kúszás során talált tartalmak és az oldalak közötti kapcsolatok tárolására, elemzésére és rendszerezésére utal.
Csak az oldal indexelése után válik elérhetővé, hogy a releváns lekérdezések eredményként jelenjen meg.
Ellenőrizhetem, hogy az oldalamra belépő webkúszó valóban a Googlebot-e?
Ha attól tart, hogy spamelők vagy más bajkeverők Google-botnak kiadva magukat hozzáférnek a weboldalához, ellenőrizheti a lánctalpas programot, hogy kiderüljön, valóban a Google lánctalpas programjáról van-e szó.
Mi a Googlebot fő lánctalpas programja?
A Googlebot okostelefon ma az elsődleges lánctalpas.
Felhasználói ügynök token: Googlebot
Teljes user agent string: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, mint Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (kompatibilis; Googlebot/2.1; +http://www.google.com/bot.html)
A Googlebot lánctalpasok teljes listája itt található.
