Ce este Googlebot?
Googlebot este numele dat crawlerelor web ale Google care colectează informații pentru diverse servicii Google, inclusiv pentru indexul de căutare.
Acesta are două versiuni principale: Googlebot Desktop și Googlebot Smartphone. Odată cu indexarea pe mobil, Googlebot Smartphone a devenit principalul crawler care alimentează indexul de căutare Google.
Deci, cum funcționează Googlebot?
Googlebot parcurge în mod constant site-ul web pentru a descoperi pagini noi, trimite paginile pentru procesare în vederea adăugării lor în indexul de căutare și replasează paginile pentru a căuta informații noi/actualizate.
În timpul acestui proces, Googlebot respectă cu strictețe regulile din fișierele robots.txt și directivele pentru crawlere privind paginile și linkurile.
De ce este important Googlebot?
Googlebot este unul dintre principalele instrumente care alimentează întregul motor de căutare Google. Fără el, întreaga căutare (și, prin urmare, SEO) nu ar exista. Dacă Googlebot nu ar fi cercetat un site web, acesta nu ar fi fost indexat și nu ar fi fost vizibil în rezultate.
Astfel, profesioniștii SEO și webmasterii trebuie să înțeleagă cum funcționează Googlebot. În plus, este important să se asigure că crawlerul accesează site-ul în mod corespunzător, fără probleme de crawlabilitate sau de descoperire.
Cele mai bune practici pentru un site web prietenos pentru crawlere
Dacă vreți ca Googlebot să vă cerceteze corect site-ul web și să vă indexeze paginile, trebuie să vă asigurați că anumite lucruri sunt la locul lor. Deoarece nu este un eveniment care se întâmplă o singură dată, mai jos sunt prezentate câteva dintre cele mai bune practici pe care trebuie să le urmați în mod regulat pentru a menține un site web favorabil pentru crawl.
1. Verificați fișierul Robots.txt
Fișierul Robots.txt de pe site-ul web vă permite să controlați ceea ce este urmărit. Acesta comunică cu roboții folosind directivele crawler.
Trebuie să vă asigurați că fișierul robots.txt nu împiedică Googlebot să parcurgă paginile/secțiunile din site-ul dvs. pe care doriți să le indexați.
În continuare, căutați orice erori în fișier utilizând instrumentele de testare robots.txt.
Trebuie să vă asigurați că robots.txt este accesibil pentru Googlebot, adică nu este blocat la nivel de server.
2. Trimiteți Sitemaps
Trimiterea sitemap-urilor este cel mai simplu mod de a informa Google cu privire la paginile pe care doriți să fie cercetate și indexate.
Crearea sitemaps nu este complicată dacă utilizați orice plugin SEO popular pe WordPress, cum ar fi Yoast sau Rank Math. Acestea vor crea automat sitemaps pentru tine, pe care le poți trimite.
URL-ul generat va arăta astfel: yourdomainname.com/sitemap_index.html
Pentru a trimite manual un URL sitemap, trebuie să vizitați Google Search Console și să faceți clic pe "Sitemaps" în secțiunea "Index" din meniul principal.
3. Folosiți cu înțelepciune directivele Crawler
În afară de fișierul robots.txt, există directive la nivel de pagină care notifică crawlerele care pagini pot fi (sau nu) accesate.
Astfel, trebuie să vă asigurați că paginile pe care doriți să le indexați nu au o directivă "noindex". În mod similar, asigurați-vă că acestea nu au o directivă "nofollow" dacă doriți ca și legăturile lor de ieșire să fie cercetate.
Puteți utiliza SEO Toolbar pentru Chrome și Firefox pentru a verifica directivele de pe paginile dumneavoastră.
4. Asigurați legături interne între pagini
Un alt mod simplu de a ajuta o pagină să fie indexată mai repede este să o legați de o altă pagină care este deja indexată. Deoarece Googlebot răscruzează paginile, acesta va găsi legătura internă și o va răsfoi rapid.
În afară de crawling, linking-ul intern transmite așa-numitul "link juice" către pagini, mărind PageRank-ul acestora.
5. Utilizați auditul site-ului pentru a găsi probleme de crawlabilitate și indexabilitate
În cele din urmă, puteți utiliza instrumentele de audit al site-ului pentru a găsi probleme legate de indexabilitate și de capacitatea de accesare a site-urilor dumneavoastră.
Site Audit vă poate ajuta să găsiți pagini rupte, redirecționări excesive, lanțuri de redirecționare, pagini noindex, linkuri nofollow, pagini orfane (cele fără linkuri interne) și multe altele.
Puteți monitoriza gratuit sănătatea SEO a site-ului dvs. web cu instrumente precum Ranktracker's Web Audit.
Întrebări frecvente
Este crawling-ul și indexarea același lucru?
Nu, cele două nu sunt la fel. Crawling presupune descoperirea paginilor și a legăturilor de pe web. Indexarea se referă la stocarea, analiza și organizarea conținutului și a legăturilor dintre pagini care au fost găsite în timpul parcurgerii.
Numai după ce o pagină este indexată, aceasta poate fi afișată ca rezultat pentru căutările relevante.
Pot să verific dacă un crawler care îmi accesează site-ul este într-adevăr Googlebot?
Dacă sunteți îngrijorat de faptul că spammerii sau alte persoane care creează probleme ar putea accesa site-ul dvs. web pretinzând că sunt Googlebots, puteți verifica cra wlerul pentru a vedea dacă este într-adevăr un crawler Google.
Care este principalul crawler pentru Googlebot?
Googlebot Smartphone este principalul crawler în prezent.
Token agent utilizator: Googlebot
Șirul complet al agentului utilizatorului: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, ca Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatibil; Googlebot/2.1; +http://www.google.com/bot.html)
Lista completă a crawlerelor Googlebot poate fi găsită aici.
