Kaj je oznaka X-Robots?
Oznaka X-Robots je neobvezna sestavina glave odgovora HTTP, ki iskalnikom sporoča, kako naj prebirajo in indeksirajo spletno stran. Za razliko od oznake meta robots, ki je rezervirana za strani HTML, se lahko oznaka X-Robots-Tag uporablja za datoteke, ki niso HTML, kot so slike, besedilne datoteke in datoteke PDF.
Tukaj je primer odgovora HTTP z oznako X-Robots-Tag:
HTTP/1.1 200 OK Datum: X-Robots-Tag: noindex (...)Zakaj je pomembna oznaka X-Robots?
Oznaka X-Robots-Tag je pomembna, ker omogoča nadzor nad tem, kako iskalniki indeksirajo in pregledujejo ne le strani HTML, temveč tudi druge vrste datotek. Ta možnost je še posebej uporabna pri upravljanju velikih spletnih mest z različnimi vrstami vsebine. Ključne prednosti vključujejo:
- Prilagodljivost: Uporabite direktive za datoteke, ki niso v jeziku HTML, kot so datoteke PDF, slike in videoposnetki.
- Globalna uporaba: Uporabite to oznako za uporabo pravil na celotnem spletnem mestu ali za določene imenike in vrste datotek.
- Redni izrazi: Uporabite napredne vzorce za učinkovito ciljanje več URL-jev.
Skupne direktive za X-Robots-Tag
Z oznako X-Robots-Tag lahko uporabite katero koli direktivo, ki je veljavna za oznako meta robots. Tukaj je nekaj najpogosteje uporabljenih direktiv:
- noindex: Preprečuje indeksiranje strani ali datoteke s strani iskalnikov.
- nofollow: Preprečuje, da bi iskalniki sledili povezavam na strani.
- ni: Enakovredno "noindex, nofollow".
- noarchive: Preprečuje, da bi iskalniki prikazali različico strani v predpomnilniku.
- nosnippet: Preprečuje, da bi iskalniki v rezultatih iskanja prikazali odlomek strani.
Če želite na primer Googlovemu robotu naročiti, naj ne indeksira ali sledi povezavam v datotekah PDF, lahko uporabite:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Kako nastaviti oznako X-Robots-Tag
V strežniku Apache
Označevalnik X-Robots-Tag lahko nastavite v datoteki .htaccess ali httpd.conf. Tukaj si oglejte, kako uporabiti direktivo noindex za vse datoteke PDF:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>V strežniku NGINX
Za NGINX lahko direktivo dodate v datoteko .conf spletnega mesta:
lokacija ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Nastavitev direktiv za določene brskalnike
Direktive za posamezne pajkovalnike lahko določite tako, da jih poimenujete:
Nastavitev glave X-Robots-Tag "googlebot: noindex, nofollow"Pregledovanje oznake X-Robots-Tag
Za razliko od meta oznake robots je oznaka X-Robots-Tag del glave odgovora HTTP in ni vidna v kodi HTML. Tukaj je opisano, kako si jo lahko ogledate v brskalniku Google Chrome:
- URL naložite v Google Chrome.
- Z desnim klikom na stran in izbiro možnosti "Inspect" odprite orodja za razvijalce.
- Izberite zavihek "Omrežje".
- Ponovno naložite stran.
- Na levi plošči izberite ustrezno datoteko; na desni plošči bodo prikazane glave HTTP, vključno z oznako X-Robots-Tag.
Pogosta vprašanja
Ali lahko oznako X-Robots-Tag uporabljam na straneh HTML?
Da, vendar se pogosteje uporablja za datoteke, ki niso HTML. Za strani HTML je lažje uporabiti oznako meta robots v kodi HTML.
Kako lahko preverim, ali moj X-Robots-Tag deluje?
Z orodjem Inspect v orodjih za razvijalce brskalnika preverite glave odziva HTTP. Uporabite lahko tudi spletna orodja, kot je Googlovo orodje za pregledovanje URL.
Ali lahko oznaka X-Robots prevlada nad robots.txt?
Ne, oznaka X-Robots-Tag ne more razveljaviti direktiv robots.txt. Če je naslov URL v robots.txt prepovedan, ga iskalniki ne bodo prebrskali in posledično ne bodo videli direktiv X-Robots-Tag.
Z razumevanjem in pravilno uporabo oznake X-Robots lahko natančneje nadzorujete, kako iskalniki vplivajo na različne vrste datotek na vašem spletnem mestu, kar izboljša SEO in uporabniško izkušnjo vašega spletnega mesta.
