Какво представлява Googlebot?
Googlebot е името на уеб обхождащите машини на Google, които събират информация за различни услуги на Google, включително индекса за търсене.
Той има две основни версии: Googlebot Desktop и Googlebot Smartphone. С индексирането по мобилни устройства Googlebot Smartphone стана основният обхождащ компютър, който захранва индекса за търсене на Google.
И така, как работи Googlebot?
Googlebot непрекъснато претърсва уеб, за да открива нови страници, изпраща страниците за обработка, за да ги добави към индекса за търсене, и претърсва страниците отново, за да търси нова/актуализирана информация.
По време на този процес Googlebot следва стриктно правилата във файловете robots.txt и директивите за обхождане на страници и връзки.
Защо Googlebot е важен?
Googlebot е един от основните инструменти, които управляват цялата търсачка на Google. Без него цялото търсене (а оттам и SEO) не би съществувало. Ако Googlebot не обхождаше даден уебсайт, той нямаше да бъде индексиран и видим в резултатите.
Затова SEO специалистите и уебмастърите трябва да разберат как работи Googlebot. Освен това е важно да се гарантира, че роботът има правилен достъп до сайта, без да има проблеми с обхождането или откриваемостта.
Най-добри практики за удобен за пълзене уебсайт
Ако искате Googlebot да обхожда уебсайта ви правилно и да индексира страниците, трябва да се уверите, че някои неща са налице. Тъй като това не е еднократно събитие, по-долу са представени някои от най-добрите практики, които трябва да се следват редовно, за да се поддържа удобен за обхождане уебсайт.
1. Проверете файла си Robots.txt
Файлът Robots.txt на уебсайта ви позволява да контролирате какво се обхожда. Той комуникира с ботовете, като използва директиви за обхождане.
Трябва да се уверите, че вашият файл robots.txt не забранява на Googlebot да обхожда страниците/секциите на уебсайта ви, които искате да бъдат индексирани.
След това потърсете грешки във файла, като използвате инструменти за тестване на robots.txt.
Трябва да сте сигурни, че robots.txt е достъпен за Googlebot, т.е. не е блокиран на ниво сървър.
2. Изпращане на картите на сайта
Подаването на карти на сайта е най-простият начин да съобщите на Google кои страници искате да бъдат обхождани и индексирани.
Създаването на карти на местоположенията не е сложно, ако използвате някоя от популярните плъгини за SEO в WordPress, като Yoast или Rank Math. Те автоматично ще създават карти на сайта за вас, които можете да изпратите.
Генерираният URL адрес ще изглежда по следния начин: yourdomainname.com/sitemap_index.html
За да изпратите URL адрес на карта на сайта ръчно, трябва да посетите конзолата за търсене на Google и да кликнете върху "Sitemaps" (Карти на сайта) в раздела "Index" (Индекс) в главното меню.
3. Използвайте разумно директивите на обхождащия модул
Освен файла robots.txt съществуват и директиви на ниво страница, които уведомяват обхождащите устройства кои страници е разрешено (или забранено) да бъдат обхождани.
Затова трябва да се уверите, че страниците, които искате да бъдат индексирани, нямат директива "noindex". По същия начин се уверете, че те нямат директива "nofollow", ако искате техните изходящи връзки също да бъдат обхождани.
Можете да използвате SEO Toolbar за Chrome и Firefox, за да проверите директивите на страниците си.
4. Осигуряване на вътрешни връзки между страниците
Друг прост начин да помогнете на дадена страница да се индексира по-бързо е като я свържете с друга страница, която вече е индексирана. Тъй като Googlebot претърсва страниците, той ще открие вътрешната връзка и ще я претърси бързо.
Освен че обхожда, вътрешното свързване предава така наречения "сок от връзки" на страниците, като увеличава техния PageRank.
5. Използване на одита на сайта за откриване на проблеми с обхождането и индексирането
И накрая, можете да използвате инструменти за проверка на сайта, за да откриете проблеми, свързани с индексируемостта и обхождането на уебсайтовете ви.
Одитът на сайта може да ви помогне да откриете счупени страници, прекомерни пренасочвания, вериги от пренасочвания, неиндексирани страници, nofollow връзки, осиротели страници (такива без вътрешни връзки) и др.
Можете да следите състоянието на SEO оптимизацията на уебсайта си безплатно с инструменти като Web Audit на Ranktracker.
Често задавани въпроси
Едно и също нещо ли е обхождането и индексирането?
Не, двете неща не са еднакви. Претърсването означава откриване на страници и връзки в мрежата. Индексирането се отнася до съхраняването, анализирането и организирането на съдържанието и връзките между страниците, които са били открити по време на обхождането.
Едва след като дадена страница бъде индексирана, тя може да бъде показана като резултат при съответните заявки.
Мога ли да проверя дали уеб кроулърът, който влиза в сайта ми, наистина е Googlebot?
Ако се притеснявате, че спамъри или други нарушители на правилата могат да получат достъп до вашия уебсайт, представяйки се за ботове на Google, можете да проверите обхождащата програма, за да видите дали тя действително е обхождаща програма на Google.
Кой е основният обхождащ орган за Googlebot?
Смартфонът Googlebot е основният обхождащ компютър днес.
Маркер на потребителския агент: Googlebot
Пълен низ от потребителски агенти: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, като Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (съвместим; Googlebot/2.1; +http://www.google.com/bot.html)
Пълният списък на обхождащите устройства на Googlebot можете да намерите тук.
