Czym jest X-Robots-Tag?
Znacznik X-Robots-Tag jest opcjonalnym składnikiem nagłówka odpowiedzi HTTP, który informuje wyszukiwarki o sposobie indeksowania strony internetowej. W przeciwieństwie do znacznika meta robots, który jest zarezerwowany dla stron HTML, znacznik X-Robots-Tag może być używany dla plików innych niż HTML, takich jak obrazy, pliki tekstowe i pliki PDF.
Oto przykład odpowiedzi HTTP ze znacznikiem X-Robots-Tag:
HTTP/1.1 200 OK Date: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Dlaczego X-Robots-Tag jest ważny?
Znacznik X-Robots jest ważny, ponieważ pozwala kontrolować sposób indeksowania i indeksowania przez wyszukiwarki nie tylko stron HTML, ale także innych typów plików. Ta funkcja jest szczególnie przydatna w przypadku zarządzania dużymi witrynami internetowymi z różnymi typami treści. Kluczowe korzyści obejmują:
- Elastyczność: Stosowanie dyrektyw do plików innych niż HTML, takich jak pliki PDF, obrazy i filmy.
- Zastosowanie globalne: Użyj tagu, aby zastosować reguły w całej witrynie lub do określonych katalogów i typów plików.
- Wyrażenia regularne: Wykorzystaj zaawansowane wzorce, aby skutecznie kierować reklamy na wiele adresów URL.
Wspólne dyrektywy dla X-Robots-Tag
Możesz użyć dowolnej dyrektywy, która jest ważna dla znacznika meta robots z tagiem X-Robots-Tag. Oto kilka często używanych dyrektyw:
- noindex: Zapobiega indeksowaniu strony lub pliku przez wyszukiwarki.
- nofollow: Zapobiega podążaniu wyszukiwarek za linkami na stronie.
- none: Odpowiednik "noindex, nofollow".
- noarchive: Zapobiega wyświetlaniu przez wyszukiwarki buforowanej wersji strony.
- nosnippet: Zapobiega wyświetlaniu przez wyszukiwarki fragmentu strony w wynikach wyszukiwania.
Na przykład, aby poinstruować Googlebota, aby nie indeksował ani nie śledził żadnych linków w plikach PDF, możesz użyć:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Jak skonfigurować X-Robots-Tag
Na serwerze Apache
X-Robots-Tag można skonfigurować w pliku .htaccess lub httpd.conf. Oto jak zastosować dyrektywę noindex do wszystkich plików PDF:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>Na serwerze NGINX
W przypadku NGINX można dodać dyrektywę w pliku .conf witryny:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Ustawianie dyrektyw dla określonych robotów indeksujących
Można określić dyrektywy dla poszczególnych crawlerów, nadając im nazwy:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Wyświetlanie znacznika X-Robots
W przeciwieństwie do metatagu robots, X-Robots-Tag jest częścią nagłówka odpowiedzi HTTP i nie jest widoczny w kodzie HTML. Oto jak wyświetlić go w przeglądarce Google Chrome:
- Załaduj adres URL w przeglądarce Google Chrome.
- Kliknij stronę prawym przyciskiem myszy i wybierz "Inspect", aby otworzyć narzędzia deweloperskie.
- Wybierz zakładkę "Sieć".
- Przeładuj stronę.
- Wybierz odpowiedni plik w lewym panelu; nagłówki HTTP, w tym X-Robots-Tag, zostaną wyświetlone w prawym panelu.
Najczęściej zadawane pytania
Czy mogę używać X-Robots-Tag na stronach HTML?
Tak, ale jest on częściej używany w przypadku plików innych niż HTML. W przypadku stron HTML łatwiej jest użyć znacznika meta robots w kodzie HTML.
Jak sprawdzić, czy mój X-Robots-Tag działa?
Użyj narzędzia Inspect w narzędziach deweloperskich przeglądarki, aby sprawdzić nagłówki odpowiedzi HTTP. Możesz także skorzystać z narzędzi online, takich jak Google URL Inspection Tool.
Czy X-Robots-Tag może zastąpić robots.txt?
Nie, X-Robots-Tag nie może zastąpić dyrektyw robots.txt. Jeśli adres URL jest niedozwolony w pliku robots.txt, wyszukiwarki nie będą go indeksować, a co za tym idzie, nie zobaczą dyrektyw X-Robots-Tag.
Dzięki zrozumieniu i prawidłowej implementacji znacznika X-Robots-Tag można uzyskać lepszą kontrolę nad sposobem interakcji wyszukiwarek z różnymi typami plików w witrynie, poprawiając jej SEO i komfort użytkowania.
