Hva er X-Robots-Tag?
X-Robots-Tag er en valgfri komponent i HTTP-svarhodet som informerer søkemotorer om hvordan de skal gjennomsøke og indeksere en webside. I motsetning til metarobot-taggen, som er forbeholdt HTML-sider, kan X-Robots-Tag brukes for ikke-HTML-filer, for eksempel bilder, tekstfiler og PDF-filer.
Her er et eksempel på et HTTP-svar med en X-Robots-Tag:
HTTP/1.1 200 OK Date: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Hvorfor er X-Robots-Tag viktig?
X-Robots-Tag er viktig fordi den gir deg mulighet til å kontrollere hvordan søkemotorer indekserer og gjennomsøker ikke bare HTML-sider, men også andre filtyper. Denne funksjonen er spesielt nyttig når du administrerer store nettsteder med mange forskjellige innholdstyper. Viktige fordeler inkluderer:
- Fleksibilitet: Bruk direktiver på andre filer enn HTML-filer, for eksempel PDF-filer, bilder og videoer.
- Global anvendelse: Bruk taggen til å bruke regler på hele nettstedet eller på bestemte kataloger og filtyper.
- Regulære uttrykk: Bruk avanserte mønstre for å målrette mot flere nettadresser på en effektiv måte.
Vanlige direktiver for X-Robots-Tag
Du kan bruke alle direktiver som er gyldige for metarobot-taggen med X-Robots-Tag. Her er noen vanlige direktiver:
- noindex: Hindrer siden eller filen fra å bli indeksert av søkemotorer.
- nofollow: Hindrer søkemotorer i å følge lenker på siden.
- ingen: Tilsvarer "noindex, nofollow".
- noarchive: Hindrer søkemotorer i å vise en hurtigbufret versjon av siden.
- nosnippet: Hindrer søkemotorer i å vise et utdrag av siden i søkeresultatene.
Hvis du for eksempel vil instruere Googlebot om ikke å indeksere eller følge lenker i PDF-filer, kan du bruke
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Slik setter du opp X-Robots-Tag
På Apache-serveren
Du kan sette opp X-Robots-Tag i .htaccess-filen eller httpd.conf-filen. Slik bruker du et noindex-direktiv på alle PDF-filer:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>På NGINX Server
For NGINX kan du legge til direktivet i nettstedets .conf-fil:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Angi direktiver for bestemte crawlere
Du kan spesifisere direktiver for bestemte crawlere ved å navngi dem:
Header-sett X-Robots-Tag "googlebot: noindex, nofollow"Visning av X-Robots-Tag
I motsetning til robots-metataggen er X-Robots-Tag en del av HTTP-svaroverskriften og er ikke synlig i HTML-koden. Slik viser du den i Google Chrome:
- Last inn nettadressen i Google Chrome.
- Høyreklikk på siden og velg "Inspect" for å åpne utviklerverktøyene.
- Velg fanen "Nettverk".
- Last inn siden på nytt.
- Velg den aktuelle filen på venstre panel; HTTP-overskriftene, inkludert X-Robots-Tag, vises på høyre panel.
Vanlige spørsmål
Kan jeg bruke X-Robots-Tag med HTML-sider?
Ja, men det er mer vanlig å bruke den for ikke-HTML-filer. For HTML-sider er det enklere å bruke metarobot-taggen i HTML-koden.
Hvordan tester jeg om X-Robots-Tag fungerer?
Bruk Inspect-verktøyet i nettleserens utviklerverktøy for å sjekke HTTP-svaroverskriftene. Du kan også bruke nettbaserte verktøy som Googles URL Inspection Tool.
Kan X-Robots-Tag overstyre robots.txt?
Nei, X-Robots-Tag kan ikke overstyre robots.txt-direktiver. Hvis en URL ikke er tillatt i robots.txt, vil søkemotorene ikke gjennomsøke den og følgelig ikke se X-Robots-Tag-direktivene.
Ved å forstå og implementere X-Robots-Tag på riktig måte kan du få bedre kontroll over hvordan søkemotorer samhandler med de ulike filtypene på nettstedet ditt, noe som forbedrer nettstedets SEO og brukeropplevelse.
