Ce este X-Robots-Tag?
Eticheta X-Robots-Tag este o componentă opțională a antetului de răspuns HTTP care informează motoarele de căutare cu privire la modul de căutare și indexare a unei pagini web. Spre deosebire de tag-ul meta robots, care este rezervat pentru paginile HTML, tag-ul X-Robots-Tag poate fi utilizat pentru fișiere non-HTML, cum ar fi imagini, fișiere text și PDF-uri.
Iată un exemplu de răspuns HTTP cu un X-Robots-Tag:
HTTP/1.1 200 OK Data: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)De ce este importantă eticheta X-Robots-Tag?
Eticheta X-Robots-Tag este importantă deoarece vă permite să controlați modul în care motoarele de căutare indexează și răscolesc nu doar paginile HTML, ci și alte tipuri de fișiere. Această capacitate este deosebit de utilă pentru gestionarea site-urilor web de mari dimensiuni cu o varietate de tipuri de conținut. Principalele beneficii includ:
- Flexibilitate: Aplicați directive la fișiere non-HTML, cum ar fi PDF-uri, imagini și videoclipuri.
- Aplicație globală: Utilizați eticheta pentru a aplica reguli la nivelul întregului site sau la anumite directoare și tipuri de fișiere.
- Expresii regulate: Utilizați modele avansate pentru a viza mai multe URL-uri în mod eficient.
Directive comune pentru X-Robots-Tag
Puteți utiliza orice directivă care este valabilă pentru meta robots tag cu X-Robots-Tag. Iată câteva directive utilizate în mod obișnuit:
- noindex: Împiedică pagina sau fișierul să fie indexat de motoarele de căutare.
- nofollow: Împiedică motoarele de căutare să urmărească legăturile de pe pagină.
- niciunul: Echivalent cu "noindex, nofollow".
- fără arhivă: Împiedică motoarele de căutare să afișeze o versiune în cache a paginii.
- nosnippet: Împiedică motoarele de căutare să afișeze un fragment de pagină în rezultatele căutării.
De exemplu, pentru a instrui Googlebot să nu indexeze și să nu urmărească niciun link din fișierele PDF, puteți utiliza:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Cum se configurează eticheta X-Robots-Tag
Pe serverul Apache
Puteți configura eticheta X-Robots-Tag în fișierul .htaccess sau în fișierul httpd.conf. Iată cum să aplicați o directivă noindex la toate fișierele PDF:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>Pe serverul NGINX
Pentru NGINX, puteți adăuga directiva în fișierul .conf al site-ului:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Setarea directivelor pentru anumite crawlere
Puteți specifica directivele pentru anumite crawlere, numindu-le:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Vizualizarea etichetei X-Robots-Tag
Spre deosebire de metaeticheta robots, X-Robots-Tag face parte din antetul de răspuns HTTP și nu este vizibil în codul HTML. Iată cum îl puteți vizualiza în Google Chrome:
- Încărcați URL-ul în Google Chrome.
- Faceți clic dreapta pe pagină și selectați "Inspect" pentru a deschide instrumentele de dezvoltare.
- Selectați fila "Network" (Rețea).
- Reîncărcați pagina.
- Selectați fișierul relevant din panoul din stânga; în panoul din dreapta vor fi afișate anteturile HTTP, inclusiv X-Robots-Tag.
Întrebări frecvente
Pot folosi X-Robots-Tag-ul cu pagini HTML?
Da, dar este mai frecvent utilizat pentru fișiere non-HTML. Pentru paginile HTML, este mai ușor să folosiți tag-ul meta robots din codul HTML.
Cum pot testa dacă X-Robots-Tag-ul meu funcționează?
Utilizați instrumentul Inspect din instrumentele de dezvoltare ale browserului pentru a verifica anteturile de răspuns HTTP. De asemenea, puteți utiliza instrumente online, cum ar fi Instrumentul de inspecție a URL-urilor de la Google.
Poate X-Robots-Tag să înlocuiască robots.txt?
Nu, eticheta X-Robots-Tag nu poate anula directivele robots.txt. Dacă un URL nu este permis în robots.txt, motoarele de căutare nu îl vor parcurge și, în consecință, nu vor vedea directivele X-Robots-Tag.
Prin înțelegerea și implementarea corectă a etichetei X-Robots-Tag, puteți obține un control mai fin asupra modului în care motoarele de căutare interacționează cu diversele tipuri de fișiere de pe site-ul dvs. web, îmbunătățind SEO și experiența utilizatorului.
