Hvad er X-Robots-Tag?
X-Robots-Tag er en valgfri komponent i HTTP-svarheaderen, der informerer søgemaskiner om, hvordan de skal gennemgå og indeksere en webside. I modsætning til meta-robots-tagget, som er forbeholdt HTML-sider, kan X-Robots-Tag bruges til ikke-HTML-filer som f.eks. billeder, tekstfiler og PDF'er.
Her er et eksempel på et HTTP-svar med et X-Robots-Tag:
HTTP/1.1 200 OK Dato: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Hvorfor er X-Robots-Tag vigtigt?
X-Robots-Tag er vigtigt, fordi det giver dig mulighed for at kontrollere, hvordan søgemaskiner indekserer og gennemsøger ikke bare HTML-sider, men også andre filtyper. Denne funktion er især nyttig til administration af store websites med mange forskellige indholdstyper. De vigtigste fordele er bl.a:
- Fleksibilitet: Anvend direktiver på ikke-HTML-filer som PDF'er, billeder og videoer.
- Global anvendelse: Brug tagget til at anvende regler på hele webstedet eller på bestemte mapper og filtyper.
- Regulære udtryk: Brug avancerede mønstre til at målrette flere URL'er effektivt.
Fælles direktiver for X-Robots-Tag
Du kan bruge ethvert direktiv, der er gyldigt for meta-robots-tagget, med X-Robots-Tag. Her er nogle almindeligt anvendte direktiver:
- noindex: Forhindrer siden eller filen i at blive indekseret af søgemaskiner.
- nofollow: Forhindrer søgemaskiner i at følge links på siden.
- ingen: Svarer til "noindex, nofollow".
- noarchive: Forhindrer søgemaskiner i at vise en cachelagret version af siden.
- nosnippet: Forhindrer søgemaskiner i at vise et uddrag af siden i søgeresultaterne.
Hvis du f.eks. vil instruere Googlebot i ikke at indeksere eller følge links i PDF-filer, kan du bruge:
<Filer ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Filer>.Sådan sætter du X-Robots-Tag op
På Apache-serveren
Du kan opsætte X-Robots-Tag i .htaccess-filen eller httpd.conf-filen. Her kan du se, hvordan du anvender et noindex-direktiv på alle PDF-filer:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>.På NGINX-serveren
For NGINX kan du tilføje direktivet i webstedets .conf-fil:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Indstilling af direktiver til specifikke crawlere
Du kan angive direktiver for bestemte crawlere ved at navngive dem:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Visning af X-Robots-Tag
I modsætning til robots-metatagget er X-Robots-Tag en del af HTTP-svarheaderen og ikke synlig i HTML-koden. Sådan ser du det i Google Chrome:
- Indlæs URL'en i Google Chrome.
- Højreklik på siden, og vælg "Inspect" for at åbne udviklerværktøjerne.
- Vælg fanen "Netværk".
- Genindlæs siden.
- Vælg den relevante fil på venstre panel; HTTP-overskrifterne, inklusive X-Robots-Tag, vises på højre panel.
Ofte stillede spørgsmål
Kan jeg bruge X-Robots-Tag med HTML-sider?
Ja, men det er mere almindeligt at bruge det til ikke-HTML-filer. For HTML-sider er det nemmere at bruge meta-robots-tagget i HTML-koden.
Hvordan tester jeg, om mit X-Robots-Tag virker?
Brug Inspect-værktøjet i din browsers udviklerværktøjer til at tjekke HTTP-svarheaderne. Du kan også bruge online-værktøjer som Googles URL Inspection Tool.
Kan X-Robots-Tag tilsidesætte robots.txt?
Nej, X-Robots-Tag kan ikke tilsidesætte robots.txt-direktiver. Hvis en URL ikke er tilladt i robots.txt, vil søgemaskinerne ikke crawle den og vil derfor ikke se X-Robots-Tag-direktiverne.
Ved at forstå og implementere X-Robots-Tag korrekt kan du få bedre kontrol over, hvordan søgemaskiner interagerer med dit websteds forskellige filtyper, hvilket forbedrer dit websteds SEO og brugeroplevelse.
