Was ist der X-Robots-Tag?
Der X-Robots-Tag ist eine optionale Komponente des HTTP-Antwort-Headers, die Suchmaschinen mitteilt, wie eine Webseite gecrawlt und indiziert werden soll. Im Gegensatz zum Meta-Robots-Tag, der für HTML-Seiten reserviert ist, kann der X-Robots-Tag für Nicht-HTML-Dateien wie Bilder, Textdateien und PDFs verwendet werden.
Hier ist ein Beispiel für eine HTTP-Antwort mit einem X-Robots-Tag:
HTTP/1.1 200 OK Datum: Tue, 15 Nov 2022 11:38:17 GMT Content-Encoding: gzip (...) X-Robots-Tag: noindex (...)Warum ist der X-Robots-Tag wichtig?
Der X-Robots-Tag ist wichtig, weil Sie damit steuern können, wie Suchmaschinen nicht nur HTML-Seiten, sondern auch andere Dateitypen indizieren und crawlen. Diese Fähigkeit ist besonders nützlich für die Verwaltung großer Websites mit einer Vielzahl von Inhaltstypen. Die wichtigsten Vorteile sind:
- Flexibel: Wenden Sie Direktiven auf Nicht-HTML-Dateien wie PDFs, Bilder und Videos an.
- Globale Anwendung: Verwenden Sie das Tag, um Regeln standortweit oder auf bestimmte Verzeichnisse und Dateitypen anzuwenden.
- Reguläre Ausdrücke: Verwenden Sie erweiterte Muster, um mehrere URLs effizient zu erfassen.
Gemeinsame Richtlinien für X-Robots-Tag
Sie können jede Direktive, die für den Meta-Robots-Tag gültig ist, mit dem X-Robots-Tag verwenden. Hier sind einige häufig verwendete Direktiven:
- noindex: Verhindert, dass die Seite oder Datei von Suchmaschinen indiziert wird.
- nofollow: Verhindert, dass Suchmaschinen den Links auf der Seite folgen.
- keine: Äquivalent zu "noindex, nofollow".
- noarchive: Verhindert, dass die Suchmaschinen eine im Cache gespeicherte Version der Seite anzeigen.
- nosnippet: Verhindert, dass Suchmaschinen ein Snippet der Seite in den Suchergebnissen anzeigen.
Um beispielsweise Googlebot anzuweisen, keine Links in PDF-Dateien zu indizieren oder zu verfolgen, könnten Sie Folgendes verwenden:
<Files ~ "\.pdf$"> Header setze X-Robots-Tag "noindex, nofollow" </Files>So richten Sie den X-Robots-Tag ein
Auf dem Apache-Server
Sie können das X-Robots-Tag in der .htaccess-Datei oder der httpd.conf-Datei einrichten. Hier erfahren Sie, wie Sie eine noindex-Direktive auf alle PDF-Dateien anwenden können:
<Files ~ "\.pdf$"> Header setze X-Robots-Tag "noindex" </Files>Auf dem NGINX-Server
Bei NGINX können Sie die Direktive in der .conf-Datei der Website hinzufügen:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Richtlinien für bestimmte Crawler festlegen
Sie können Richtlinien für bestimmte Crawler angeben, indem Sie sie benennen:
Kopfzeile mit X-Robots-Tag "googlebot: noindex, nofollow"Anzeigen des X-Robots-Tags
Im Gegensatz zum Robots-Meta-Tag ist der X-Robots-Tag Teil des HTTP-Antwort-Headers und nicht im HTML-Code sichtbar. Hier erfahren Sie, wie Sie es in Google Chrome anzeigen können:
- Laden Sie die URL in Google Chrome.
- Klicken Sie mit der rechten Maustaste auf die Seite und wählen Sie "Prüfen", um die Entwicklertools zu öffnen.
- Wählen Sie die Registerkarte "Netzwerk".
- Laden Sie die Seite neu.
- Wählen Sie die betreffende Datei auf der linken Seite aus; die HTTP-Header, einschließlich des X-Robots-Tags, werden auf der rechten Seite angezeigt.
FAQs
Kann ich den X-Robots-Tag mit HTML-Seiten verwenden?
Ja, aber es wird eher für Nicht-HTML-Dateien verwendet. Für HTML-Seiten ist es einfacher, den Meta-Robots-Tag im HTML-Code zu verwenden.
Wie kann ich testen, ob mein X-Robots-Tag funktioniert?
Verwenden Sie das Tool Inspect in den Entwicklertools Ihres Browsers, um die HTTP-Antwort-Header zu überprüfen. Sie können auch Online-Tools wie das URL-Inspektions-Tool von Google verwenden.
Kann der X-Robots-Tag die robots.txt überschreiben?
Nein, der X-Robots-Tag kann die robots.txt-Richtlinien nicht außer Kraft setzen. Wenn eine URL in robots.txt verboten ist, werden Suchmaschinen sie nicht crawlen und folglich auch die X-Robots-Tag-Richtlinien nicht sehen.
Wenn Sie den X-Robots-Tag verstehen und richtig implementieren, können Sie besser kontrollieren, wie Suchmaschinen mit den verschiedenen Dateitypen Ihrer Website interagieren, und so die Suchmaschinenoptimierung und die Benutzerfreundlichkeit Ihrer Website verbessern.
