Čo je X-Robots-Tag?
Značka X-Robots-Tag je voliteľnou súčasťou hlavičky odpovede HTTP, ktorá informuje vyhľadávače o tom, ako majú prehľadávať a indexovať webovú stránku. Na rozdiel od meta značky robots, ktorá je vyhradená pre stránky HTML, značku X-Robots-Tag možno použiť pre súbory, ktoré nie sú HTML, napríklad obrázky, textové súbory a súbory PDF.
Tu je príklad odpovede HTTP so značkou X-Robots-Tag:
HTTP/1.1 200 OK Dátum: Obsah-kódovanie: gzip (...) X-Robots-Tag: noindex (...)Prečo je značka X-Robots-Tag dôležitá?
Značka X-Robots je dôležitá, pretože umožňuje kontrolovať, ako vyhľadávače indexujú a prehľadávajú nielen stránky HTML, ale aj iné typy súborov. Táto možnosť je obzvlášť užitočná pri správe veľkých webových stránok s rôznymi typmi obsahu. Medzi hlavné výhody patrí:
- Flexibilita: Aplikujte smernice na súbory, ktoré nie sú v jazyku HTML, ako sú súbory PDF, obrázky a videá.
- Globálne použitie: Použite túto značku na aplikáciu pravidiel pre celú lokalitu alebo pre konkrétne adresáre a typy súborov.
- Regulárne výrazy: Využívajte pokročilé vzory na efektívne zacielenie na viacero adries URL.
Spoločné smernice pre X-Robots-Tag
Pomocou značky X-Robots-Tag môžete použiť akúkoľvek smernicu, ktorá je platná pre značku meta robots. Tu sú niektoré bežne používané smernice:
- noindex: Zabráni indexovaniu stránky alebo súboru vyhľadávačmi.
- nofollow: Zabraňuje vyhľadávačom sledovať odkazy na stránke.
- žiadne: Rovnaké ako "noindex, nofollow".
- noarchive: Zabraňuje vyhľadávačom zobrazovať verziu stránky v medzipamäti.
- nosnippet: Zabráni vyhľadávačom zobrazovať úryvok stránky vo výsledkoch vyhľadávania.
Ak chcete napríklad prikázať robotovi Google, aby neindexoval ani nesledoval žiadne odkazy v súboroch PDF, môžete použiť:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Ako nastaviť X-Robots-Tag
Na serveri Apache
Značku X-Robots-Tag môžete nastaviť v súbore .htaccess alebo v súbore httpd.conf. Tu nájdete postup, ako použiť smernicu noindex na všetky súbory PDF:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>Na serveri NGINX
V prípade NGINX môžete túto smernicu pridať do súboru .conf webu:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Nastavenie smerníc pre konkrétne prehľadávače
Smernice pre konkrétne prehľadávače môžete určiť tak, že ich pomenujete:
Nastavenie hlavičky X-Robots-Tag "googlebot: noindex, nofollow"Zobrazenie značky X-Robots
Na rozdiel od metaznačky robots je značka X-Robots-Tag súčasťou hlavičky odpovede HTTP a nie je viditeľná v kóde HTML. Tu je návod, ako ho zobraziť v prehliadači Google Chrome:
- Načítajte adresu URL do prehliadača Google Chrome.
- Kliknutím pravým tlačidlom myši na stránku a výberom položky "Inspect" otvorte nástroje pre vývojárov.
- Vyberte kartu "Sieť".
- Znovu načítajte stránku.
- Na ľavom paneli vyberte príslušný súbor; na pravom paneli sa zobrazia hlavičky HTTP vrátane značky X-Robots-Tag.
Často kladené otázky
Môžem používať značku X-Robots-Tag na stránkach HTML?
Áno, ale častejšie sa používa pre súbory, ktoré nie sú HTML. V prípade stránok HTML je jednoduchšie použiť značku meta robots v rámci kódu HTML.
Ako môžem otestovať, či môj X-Robots-Tag funguje?
Pomocou nástroja Inspect vo vývojárskych nástrojoch prehliadača skontrolujte hlavičky odpovede HTTP. Môžete použiť aj online nástroje, ako je napríklad nástroj na kontrolu URL od spoločnosti Google.
Môže značka X-Robots-Tag prepísať súbor robots.txt?
Nie, značka X-Robots-Tag nemôže prepísať smernice robots.txt. Ak je adresa URL zakázaná v súbore robots.txt, vyhľadávače ju nebudú prehľadávať a následne neuvidia smernice X-Robots-Tag.
Pochopením a správnou implementáciou značky X-Robots-Tag môžete získať lepšiu kontrolu nad tým, ako vyhľadávače interagujú s rôznymi typmi súborov na vašej webovej lokalite, čím sa zlepší SEO a používateľský zážitok z vašej lokality.
