Mis on X-Robots-Tag?
X-Robots-Tag on HTTP-vastuse päise valikuline komponent, mis teavitab otsingumootoreid, kuidas veebilehte indekseerida ja indekseerida. Erinevalt meta robots-tähest, mis on reserveeritud HTML-lehtede jaoks, võib X-Robots-Tag'i kasutada ka muude kui HTML-failide, näiteks piltide, tekstifailide ja PDF-failide puhul.
Siin on näide HTTP-vastusest koos X-Robots-tagiga:
HTTP/1.1 200 OK Date: X-Robots-Tag: noindex (...) X-Robots-Tag: noindex (...)Miks on X-Robots-tag oluline?
X-Robots-Tag on oluline, sest see võimaldab teil kontrollida, kuidas otsingumootorid indekseerivad ja indekseerivad mitte ainult HTML-lehti, vaid ka teisi failitüüpe. See võime on eriti kasulik suurte, eri tüüpi sisuga veebisaitide haldamisel. Peamised eelised on järgmised:
- Paindlikkus: Rakendage direktiive ka muudele kui HTML-failidele, näiteks PDF-failidele, piltidele ja videotele.
- Ülemaailmne taotlus: Kasutage sildi, et kohaldada reegleid kogu saidi või konkreetsete kataloogide ja failitüüpide suhtes.
- Regulaaravaldised: Kasutage täiustatud mustreid mitme URL-i tõhusaks sihtimiseks.
X-robotid-Tag'i ühised direktiivid
Saate kasutada mis tahes direktiivi, mis kehtib meta robots-tähe jaoks koos X-Robots-Tagiga. Siin on mõned tavaliselt kasutatavad direktiivid:
- noindex: Keelab lehe või faili indekseerimise otsingumootorite poolt.
- nofollow: Takistab otsingumootorite jälgimist lehekülje linkide järgi.
- ei ole: noindex, nofollow."
- noarchive: Vältib, et otsingumootorid ei näita lehekülje vahemällu salvestatud versiooni.
- nosnippet: Vältib otsingumootorite otsingutulemustes lehe katkendi kuvamist.
Näiteks selleks, et anda Googlebotile korraldus mitte indekseerida ega jälgida PDF-failide linke, võite kasutada järgmist:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Kuidas seadistada X-Robotid-Tag'i
Apache serveril
X-Robots-Tag'i saate määrata .htaccess-failis või httpd.conf-failis. Siin on, kuidas rakendada noindex-direktiivi kõikidele PDF-failidele:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>NGINXi serveris
NGINXi puhul saate direktiivi lisada saidi .conf-faili:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Direktiivide seadmine konkreetsete roomikute jaoks
Te saate määrata direktiivid konkreetsete roomikute jaoks, andes neile nimed:
Header set X-Robots-Tag "googlebot: noindex, nofollow"X-robotid-tag'i vaatamine
Erinevalt robots-meta-tagist on X-Robots-Tag osa HTTP-vastuse päisest ja ei ole nähtav HTML-koodis. Siin on, kuidas seda Google Chrome'is vaadata:
- Laadige URL aadress Google Chrome'is.
- Tehke lehel paremklõps ja valige "Inspect", et avada arendajatööriistad.
- Valige vahekaart "Võrk".
- Laadige leht uuesti.
- Valige vasakul paneelil asjaomane fail; HTTP-pealkirjad, sealhulgas X-Robots-Tag, kuvatakse paremal paneelil.
KKK
Kas ma saan kasutada X-Robots-tag'i HTML-lehtede puhul?
Jah, kuid seda kasutatakse sagedamini mitte-HTML-failide puhul. HTML-lehtede puhul on lihtsam kasutada HTML-koodi sees olevat meta robots-tähist.
Kuidas ma saan testida, kas mu X-Robots-Tag töötab?
HTTP-vastuse päiste kontrollimiseks kasutage brauseri arendajatööriistade tööriista Inspect. Võite kasutada ka veebipõhiseid vahendeid, näiteks Google'i URLi kontrollimise tööriista.
Kas X-Robots-Tag võib robots.txt-i üle vaadata?
Ei, X-Robots-Tag ei saa robots.txt direktiive tühistada. Kui URL on robots.txt-s keelatud, siis otsingumootorid seda ei krabile ja järelikult ei näe ka X-Robots-Tag-direktiive.
Mõistes ja rakendades X-Robots-Tag'i õigesti, saate täpsema kontrolli selle üle, kuidas otsingumootorid teie veebisaidi erinevate failitüüpidega suhtlevad, parandades teie veebisaidi SEO-d ja kasutajakogemust.
