Kas yra "X-Robots-Tag"?
Žyma X-Robots-Tag yra neprivalomas HTTP atsakymo antraštės komponentas, kuriuo paieškos sistemoms pranešama, kaip naršyti ir indeksuoti tinklalapį. Skirtingai nuo metarobotų žymos, kuri skirta tik HTML puslapiams, X-Robots-Tag gali būti naudojama ne HTML failams, pavyzdžiui, paveikslėliams, tekstiniams ir PDF failams.
Pateikiame HTTP atsakymo su X-Robots žyme pavyzdį:
HTTP/1.1 200 OK Data: 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Kodėl X-Robots žymuo yra svarbus?
Žyma "X-Robots-Tag" yra svarbi, nes ji leidžia kontroliuoti, kaip paieškos sistemos indeksuoja ir nuskaito ne tik HTML puslapius, bet ir kitus failų tipus. Ši galimybė ypač naudinga valdant dideles svetaines su įvairių tipų turiniu. Pagrindiniai privalumai:
- Lankstumas: Taikykite direktyvas ne HTML failams, pvz., PDF, paveikslėliams ir vaizdo įrašams.
- Visuotinis taikymas: Naudokite šią žymą norėdami taikyti taisykles visoje svetainėje arba konkretiems katalogams ir failų tipams.
- Reguliarios išraiškos: Naudokite išplėstinius modelius, kad efektyviai pasiektumėte kelis URL adresus.
Bendrosios X-Robots-Tag direktyvos
Galite naudoti bet kokią direktyvą, kuri galioja meta robots žyma su X-Robots-Tag. Štai keletas dažniausiai naudojamų direktyvų:
- noindex: Užkerta kelią puslapio ar failo indeksavimui paieškos sistemose.
- nofollow: Neleidžia paieškos sistemoms sekti puslapio nuorodų.
- nėra: Lygiavertis "noindex, nofollow".
- nearchyvuoti: Užkerta kelią paieškos sistemoms rodyti spartinančiąją puslapio versiją.
- nosnippet: Užkerta kelią paieškos sistemoms rodyti puslapio fragmentą paieškos rezultatuose.
Pavyzdžiui, norėdami nurodyti "Googlebot" neindeksuoti ir nesekti jokių PDF failuose esančių nuorodų, galite naudoti:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Kaip nustatyti "X-Robots-Tag
"Apache" serveryje
X-Robots-Tag galite nustatyti .htaccess faile arba httpd.conf faile. Štai kaip taikyti noindex direktyvą visiems PDF failams:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>NGINX serveryje
Jei naudojate NGINX, direktyvą galite įtraukti į svetainės .conf failą:
vieta ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Direktyvų nustatymas konkrečioms naršyklėms
Galite nurodyti konkrečioms naršyklėms skirtas direktyvas jas pavadindami:
Antraštės rinkinys X-Robots-Tag "googlebot: noindex, nofollow"X-Robots žymos peržiūra
Skirtingai nei robots metažyma, X-Robots-Tag yra HTTP atsakymo antraštės dalis ir nėra matoma HTML kode. Štai kaip ją peržiūrėti "Google Chrome" naršyklėje:
- Įkelkite URL adresą į "Google Chrome".
- Dešiniuoju pelės klavišu spustelėkite puslapį ir pasirinkite "Inspect" (tikrinti), kad atidarytumėte kūrėjo įrankius.
- Pasirinkite skirtuką "Tinklas".
- Perkraukite puslapį.
- Kairiajame skydelyje pasirinkite atitinkamą failą; dešiniajame skydelyje bus rodomos HTTP antraštės, įskaitant X-Robots-Tag.
DUK
Ar galiu naudoti X-Robots-Tag su HTML puslapiais?
Taip, bet ji dažniau naudojama ne HTML failams. HTML puslapiuose paprasčiau naudoti HTML kodo metarobotų žymą.
Kaip patikrinti, ar mano "X-Robots-Tag" veikia?
Norėdami patikrinti HTTP atsakymo antraštes, naudokite naršyklės kūrėjų įrankių įrankį Inspect. Taip pat galite naudoti internetines priemones, pavyzdžiui, "Google" URL tikrinimo įrankį.
Ar X-Robots-Tag gali pakeisti robots.txt?
Ne, X-Robots-Tag negali pakeisti robots.txt direktyvų. Jei URL adresas neleidžiamas robots.txt, paieškos sistemos jo nelies, todėl nematys "X-Robots-Tag" direktyvų.
Suprasdami ir tinkamai įgyvendindami X-Robots žymę, galite geriau kontroliuoti, kaip paieškos sistemos sąveikauja su įvairiais jūsų svetainės failų tipais, ir taip pagerinti savo svetainės SEO ir naudotojų patirtį.
