Mis on roomik?
Luuraja on internetiprogramm, mis on mõeldud interneti süstemaatiliseks sirvimiseks. Kõige sagedamini kasutatakse roomikuid otsingumootorite jaoks lehekülgede avastamiseks ja töötlemiseks, et neid indekseerida ja näidata otsingutulemustes.
Lisaks HTML-i töötlevatele roomikutele kasutatakse mõningaid spetsiaalseid roomikuid ka piltide ja videote indekseerimiseks.
Reaalses maailmas on peamised veebimootorid, mida tuleb tunda, need, mida kasutavad maailma parimad otsingumootorid: Googlebot, Bingbot, Yandex Bot ja Baidu Spider.
Head vs. halvad roomajad
Mõelge heast roomikprogrammist kui robotist, mis aitab teie veebisaiti, peamiselt lisades teie sisu otsinguindeksisse või aidates teil oma veebisaiti auditeerida. Hea roomikroboti muud tunnused on see, et ta tuvastab ennast, järgib teie juhiseid ja kohandab oma roomamiskiirust, et mitte üle koormata teie serverit.
Halb crawler on robot, mis ei anna veebisaidi omanikule mingit lisaväärtust ja võib olla pahatahtlik. Halvad roomajad võivad end mitte tuvastada, mööda minna teie juhistest, tekitada serveritele tarbetut koormust ning isegi varastada sisu ja andmeid.
Roomikute tüübid
On olemas kahte peamist tüüpi roomikud:
- Pidevalt roomavad robotid: Need teevad krabisid 24/7, et avastada uusi lehekülgi ja krabida uuesti vanemaid (nt Googlebot).
- Nõudmisrobotid: Näiteks Ranktracker Site Audit bot): Need uurivad piiratud arvu lehekülgi ja teostavad vaatluse ainult siis, kui seda nõutakse (nt Ranktracker Site Audit bot).
Miks on veebisaidi roomamine oluline?
Otsingumootori roomiku peamine eesmärk on välja selgitada, mida teie veebisait sisaldab, ja lisada see teave otsinguindeksisse. Kui teie saiti ei ole roomatud, siis ei ilmu teie sisu otsingutulemustes.
Veebisaidi roomamine ei ole ainult ühekordne sündmus - see on aktiivsete veebisaitide puhul pidev tegevus. Robotid vaatavad veebisaite regulaarselt uuesti läbi, et leida ja lisada uusi lehekülgi otsinguindeksisse, uuendades samal ajal teavet olemasolevate lehekülgede kohta.
Kuigi enamik roomikutest on seotud otsingumootoritega, on olemas ka muud tüüpi roomikud. Näiteks Ranktracker Site Audit bot aitab teil näha, mis on teie veebisaidil SEO mõttes valesti.
Kuidas roomikud töötavad?
Lühidalt öeldes avastab Googlebot'i sarnane veebimadratsüsteem teie veebisaidi URL-aadressid sitemapi, linkide ja Google Search Console'i kaudu tehtud käsitsi sisestatud andmete kaudu. Seejärel jälgib ta nende lehekülgede "lubatud" linke.
See teeb seda, järgides samal ajal robots.txt reegleid, samuti mis tahes "nofollow" atribuute linkidel ja üksikutel lehekülgedel.
Mõnedel veebisaitidel - need, millel on üle 1 miljoni lehekülje, mida uuendatakse regulaarselt, või need, millel on 10 tuhat lehekülge sisu, mis muutub iga päev - võib olla piiratud "roomamiseelarve". See viitab ajale ja ressurssidele, mida robot saab veebisaidile ühe seansi jooksul pühendada.
Roomiku prioriteedid
Luuretööde eelarve piiratud mahutavuse tõttu tegutsevad roomikud roomikute prioriteetide alusel. Näiteks Googlebot arvestab järgmist:
- URL-i PageRank
- Kui tihti lehekülge uuendatakse
- Kas leht on uus või mitte
Sel viisil saab roomikprogramm keskenduda kõigepealt teie saidi kõige olulisemate lehekülgede läbitöötamisele.
Mobiilne vs. töölauaversioonid
Googlebotil on kaks peamist versiooni: Googlebot Desktop ja Googlebot Smartphone. Tänapäeval kasutab Google mobiilne indekseerimine, mis tähendab, et tema nutitelefoni agent on peamine Googlebot, mida kasutatakse lehekülgede indekseerimiseks ja indekseerimiseks.
Veebisaidi erinevaid versioone saab esitada erinevat tüüpi roomikutele. Tehniliselt identifitseerib robot end veebiserverile, kasutades HTTP-päringu päise User-Agent koos unikaalse identifikaatoriga.
Parimad praktikad roomajasõbraliku veebisaidi loomiseks
Selleks, et teie veebisait oleks roomamiseks valmis, soovitame teha mitu sammu. Järgige neid, et anda oma põhilehtedele parimad võimalused indekseerimiseks ja edetabelisse paigutamiseks.
1. Kontrollige oma Robots.txt faili
Robots.txt-fail on teie veebisaidi fail, mis suhtleb nende robotitega, kasutades mitmeid roomikute direktiive. Veenduge, et see ei keelaks headel robotitel siseneda mõnele leheküljele või sektsioonile, mida soovite indekseerida. Kasutage vigade kontrollimiseks selliseid vahendeid nagu Google'i robots.txt tester.
2. Sitemapi esitamine
Sisukaardi esitamine on kriitiline samm. Sisukaardil on loetletud kõik teie veebisaidi leheküljed, mida soovite indekseerida. Google Search Console'is saate esitada oma istungikaardi jaotises Index > Sitemaps. See protsess on sarnane ka teiste otsingumootorite puhul, näiteks Bing Webmaster Tools.
3. Kasutage roomikute direktiive targalt
Robots.txt fail kasutab direktiive, et öelda roomikutele, milliseid lehekülgi on lubatud või keelatud roomata. Oluline on lubada oma saidi navigatsioonis olevate oluliste lehekülgede roomamist. Kui robots.txt-failis on sisu roomamine keelatud, siis ei nähta kõiki lehekülje tasandi direktiive.
4. Anda lehekülgede vahelised siselinkid
Sisemine linkimine aitab otsingumootoritel mõista, mida iga lehekülg endast kujutab, ja aitab roomikutel lehekülgi kõigepealt üles leida. Sisemised lingid aitavad teil ka kujundada PageRanki liikumist kogu teie saidil.
5. Vähendage 4xx-i ja tarbetuid ümbersuunamisi.
4xx-vead annavad roomikutele märku, et selle URL-i sisu ei ole olemas. Kasutage nende lehekülgede parandamiseks selliseid vahendeid nagu Ranktracker Site Audit või seadke ümberjuhtimine elava lehekülje juurde. Samuti kõrvaldage ebavajalikud ümbersuunamised ja ümbersuunamisahelad, et tagada sujuv roomamine.
6. Kasutage Ranktracker Site Audit leida Crawlability ja indekseeritavuse probleemid
Ranktracker Site Audit tööriist võib aidata, kontrollides kõiki indekseerimata lehekülgi ja nofollowed linke teie saidil. See võib avastada kõik katkised leheküljed või liigsed ümbersuunamised, sealhulgas ümbersuunamisahelad või -ahelad, ning juhtida tähelepanu mis tahes orbudele lehekülgedele.
KKK
Kas roomamine ja indekseerimine on sama asi?
Ei. Crawling tähendab avalikult kättesaadavate veebilehtede ja muu sisu leidmist. Indekseerimine tähendab, et otsingumootorid analüüsivad neid lehekülgi ja salvestavad need oma otsinguindeksisse.
Millised on kõige aktiivsemad roomajad?
Kõige populaarsemad otsingumootori roomikud on Googlebot, Bingbot, Yandex Bot ja Baidu Spider. Lisateavet saate sellest Imperva Bot Traffic uuringust. Huvitaval kombel leiti, et AhrefsBot, mis juhib kogu linkide andmebaasi, on Googleboti järel teine kõige aktiivsem roomik.
Kas roomikud kahjustavad minu veebisaiti?
Kuigi enamik roomikutest ei tee teie veebisaidile kahju, on ka halbu roomikuid, mis võivad seda teha. Kahjulikud roomikud võivad hõivata teie ribalaiust, põhjustades lehekülgede aeglustumist, ning võivad üritada varastada andmeid või kraapida teie veebisaidi sisu.
