Kas yra Robots.txt?
Robots.txt failas apriboja žiniatinklio naršyklių, pvz., paieškos sistemų robotų, prieigą prie tam tikrų svetainės URL adresų. Jis taip pat gali būti naudojamas kai kurių žiniatinklio naršyklių naršymo greičiui reguliuoti.
Visi "geri" žiniatinklio naršyklės robotai laikosi robots.txt faile nurodytų taisyklių. Tačiau yra "blogų" neregistruotų naršyklių, dažnai naudojamų šveitimo tikslais, kurios visiškai nepaiso robots.txt failo.
Robots.txt failas turi būti naudojamas siekiant sumažinti ir (arba) optimizuoti naršyklių srautą į svetainę ir neturėtų būti naudojamas žiniatinklio puslapių indeksavimui kontroliuoti. Net jei robots.txt faile uždraustas URL adresas, "Google" vis tiek gali jį indeksuoti, jei jis aptinkamas per išorinę nuorodą.
Robots.txt sintaksė
Robots.txt failo sintaksę sudaro šie laukai:
- user-agent: naršyklė, kuriai taikomos taisyklės.
- disallow: kelias, kurio negalima nuskaityti
- allow: kelias, kurį galima nuskaityti (neprivaloma)
- sitemap: svetainės žemėlapio failo vieta (neprivaloma)
- crawl-delay: kontroliuoja nuskaitymo greitį (neprivaloma ir nepalaikoma GoogleBot).
Štai pavyzdys:
Vartotojo agentas: RanktrackerSiteAudit Uždrausti: /resources/ Leisti: /resources/images/ Crawl-delay: 2 Sitemap: https://example.com/sitemap.xmlŠis robots.txt failas nurodo "RanktrackerSiteAudit" naršyklei neieškoti URL adresų, esančių kataloge "/resources/", išskyrus esančius kataloge "/resources/images/", ir nustato 2 sekundžių delsą tarp užklausų.
Kodėl svarbus Robots.txt failas?
Robots.txt failas yra svarbus, nes jis leidžia žiniatinklio valdytojams valdyti naršyklės elgesį savo svetainėse, optimizuoti naršymo biudžetą ir apriboti svetainės skyrių, kurie nėra skirti viešai prieigai, naršymą.
Daugelis svetainių savininkų nusprendžia neindeksuoti tam tikrų puslapių, pvz., autorių puslapių, prisijungimo puslapių arba narystės svetainės puslapių. Jie taip pat gali užblokuoti uždarų išteklių, pavyzdžiui, PDF ar vaizdo įrašų, kuriuos norint pasiekti, reikia sutikimo el. paštu.
Verta paminėti, kad jei naudojate tokią TVS kaip "WordPress", prisijungimo puslapis /wp-admin/ yra automatiškai blokuojamas, kad jį neindeksuotų naršyklės.
Tačiau svarbu atkreipti dėmesį į tai, kad "Google" nerekomenduoja pasikliauti vien robots.txt failu, kad būtų galima kontroliuoti puslapių indeksavimą. Jei keičiate puslapį, pavyzdžiui, pridedate žymą "noindex", įsitikinkite, kad puslapis nėra uždraustas robots.txt faile. Priešingu atveju "Googlebot" negalės jo perskaityti ir laiku atnaujinti savo indekso.
DUK
Kas nutiks, jei neturėsiu robots.txt failo?
Daugumoje svetainių robots.txt failo būtinai nereikia. Robots.txt failo paskirtis - perduoti konkrečius nurodymus paieškos robotams, tačiau to gali neprireikti, jei turite mažesnę svetainę arba joje nėra daug puslapių, kuriuos reikia blokuoti nuo paieškos roverių.
Tai pasakius, robots.txt failo sukūrimas ir jo įdiegimas jūsų svetainėje taip pat neturi jokių trūkumų. Taip bus lengva pridėti direktyvų, jei to prireiktų ateityje.
Ar galiu paslėpti puslapį nuo paieškos sistemų naudodamas robots.txt?
Taip, puslapių paslėpimas nuo paieškos sistemų yra viena iš pagrindinių robots.txt failo funkcijų. Tai galite padaryti naudodami parametrą disallow ir URL adresą, kurį norite blokuoti.
Tačiau svarbu atkreipti dėmesį, kad vien tik paslėpę URL adresą nuo "Google" robots.txt faile negarantuojame, kad jis nebus indeksuojamas. Kai kuriais atvejais URL vis tiek gali būti indeksuojamas atsižvelgiant į tokius veiksnius kaip paties URL tekstas, išorinėse nuorodose naudojamas inkaro tekstas ir išorinio puslapio, kuriame aptiktas URL, kontekstas.
Kaip patikrinti robots.txt failą?
Robots.txt failą galite patvirtinti ir patikrinti, kaip instrukcijos veikia konkrečiuose URL adresuose, naudodami robots.txt testerį "Google" paieškos konsolėje arba naudodami išorinius tikrintuvus, pvz., " Merkle".
