Mikä on X-Robots-tag?
X-Robots-tagi on HTTP-vastausotsikon valinnainen osa, joka ilmoittaa hakukoneille, miten verkkosivua indeksoidaan ja indeksoidaan. Toisin kuin meta robots-tunniste, joka on varattu HTML-sivuille, X-Robots-tunnistetta voidaan käyttää muihin kuin HTML-tiedostoihin, kuten kuviin, tekstitiedostoihin ja PDF-tiedostoihin.
Tässä on esimerkki HTTP-vastauksesta, jossa on X-Robots-tagi:
HTTP/1.1 200 OK Date: HTTP/1.1 200 OK ...) X-Robots-Tag: noindex (...)Miksi X-Robots-tag on tärkeä?
X-Robots-tagi on tärkeä, koska sen avulla voit hallita sitä, miten hakukoneet indeksoivat ja indeksoivat HTML-sivujen lisäksi myös muita tiedostotyyppejä. Tämä ominaisuus on erityisen hyödyllinen, kun hallitaan suuria verkkosivustoja, joilla on erilaisia sisältötyyppejä. Tärkeimpiä etuja ovat mm:
- Joustavuus: Sovella direktiivejä muihin kuin HTML-tiedostoihin, kuten PDF-tiedostoihin, kuviin ja videoihin.
- Maailmanlaajuinen sovellus: Tunnisteen avulla voit soveltaa sääntöjä koko sivuston laajuisesti tai tiettyihin hakemistoihin ja tiedostotyyppeihin.
- Säännölliset lausekkeet: Käytä kehittyneitä malleja useiden URL-osoitteiden tehokkaaseen kohdistamiseen.
X-Robots-Tagin yleiset direktiivit
Voit käyttää mitä tahansa direktiiviä, joka kelpaa meta robots-tunnisteelle, X-Robots-tunnisteen kanssa. Tässä on joitakin yleisesti käytettyjä direktiivejä:
- noindex: Estää hakukoneita indeksoimasta sivua tai tiedostoa.
- nofollow: Estää hakukoneita seuraamasta sivulla olevia linkkejä.
- ei mitään: noindex, nofollow.".
- noarchive: Estää hakukoneita näyttämästä sivun välimuistiin tallennettua versiota.
- nosnippet: Estää hakukoneita näyttämästä sivun pätkää hakutuloksissa.
Jos haluat esimerkiksi ohjeistaa Googlebotia olemaan indeksoimatta tai seuraamatta PDF-tiedostoissa olevia linkkejä, voit käyttää:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>X-Robots-tagin määrittäminen
Apache-palvelimella
Voit määrittää X-Robots-tunnisteen .htaccess-tiedostossa tai httpd.conf-tiedostossa. Näin voit soveltaa noindex-direktiiviä kaikkiin PDF-tiedostoihin:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>NGINX-palvelimella
NGINX:n tapauksessa voit lisätä direktiivin sivuston .conf-tiedostoon:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Suuntaviivojen asettaminen tietyille indeksoijille
Voit määrittää direktiivejä tietyille indeksoijille nimeämällä ne:
Header set X-Robots-Tag "googlebot: noindex, nofollow"X-Robots-tunnisteen tarkastelu
Toisin kuin robots-metatunniste, X-Robots-tunniste on osa HTTP-vastausotsikkoa eikä se näy HTML-koodissa. Näin näet sen Google Chromessa:
- Lataa URL-osoite Google Chromessa.
- Napsauta sivua hiiren kakkospainikkeella ja valitse "Tarkista" avataksesi kehittäjätyökalut.
- Valitse "Verkko"-välilehti.
- Lataa sivu uudelleen.
- Valitse kyseinen tiedosto vasemmasta paneelista; HTTP-otsikot, mukaan lukien X-Robots-tag, näkyvät oikeassa paneelissa.
UKK
Voinko käyttää X-Robots-tagia HTML-sivuilla?
Kyllä, mutta sitä käytetään yleisemmin muihin kuin HTML-tiedostoihin. HTML-sivuilla on helpompi käyttää meta robots -tunnistetta HTML-koodin sisällä.
Miten voin testata, toimiiko X-Robots-tunnisteeni?
Tarkista HTTP-vastausotsikot selaimen kehittäjätyökalujen Inspect-työkalulla. Voit myös käyttää online-työkaluja, kuten Googlen URL-osoitteiden tarkastustyökalua.
Voiko X-Robots-tagilla ohittaa robots.txt:n?
Ei, X-Robots-tag ei voi ohittaa robots.txt-ohjeita. Jos URL-osoite on kielletty robots.txt-tiedostossa, hakukoneet eivät indeksoi sitä eivätkä näin ollen näe X-Robots-Tag-ohjeita.
Ymmärtämällä ja ottamalla X-Robots-tagin oikein käyttöön voit hallita tarkemmin sitä, miten hakukoneet toimivat verkkosivustosi eri tiedostotyyppien kanssa, mikä parantaa sivuston hakukoneoptimointia ja käyttäjäkokemusta.
