Kas ir X-Robots-Tag?
X-Robots-Tag ir HTTP atbildes galvenes izvēles komponents, kas informē meklētājprogrammas par to, kā pārmeklēt un indeksēt tīmekļa lapu. Atšķirībā no meta robots taga, kas ir rezervēts HTML lapām, X-Robots-Tag var izmantot failiem, kas nav HTML, piemēram, attēliem, teksta failiem un PDF failiem.
Šeit ir HTTP atbildes ar X-Robots-Tag piemērs:
HTTP/1.1 200 OK Datums: 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Kāpēc X-Robots-Tag ir svarīgs?
X-Robots-Tag ir svarīgs, jo tas ļauj kontrolēt, kā meklētājprogrammas indeksē un pārmeklē ne tikai HTML lapas, bet arī citus failu tipus. Šī iespēja ir īpaši noderīga, pārvaldot lielas tīmekļa vietnes ar dažādiem satura tipiem. Galvenie ieguvumi ir šādi:
- Elastīgums: Piemērojiet direktīvas failiem, kas nav HTML, piemēram, PDF failiem, attēliem un videoklipiem.
- Globāls lietojums: Izmantojiet šo birku, lai piemērotu noteikumus visā vietnē vai konkrētiem direktorijiem un failu tipiem.
- Regulārās izteiksmes: Izmantot uzlabotos modeļus, lai efektīvi mērķētu uz vairākiem URL adresātiem.
X-Robots-Tag kopīgās direktīvas
Varat izmantot jebkuru direktīvu, kas ir derīga meta robots tagam ar X-Robots-Tag. Šeit ir dažas visbiežāk izmantotās direktīvas:
- noindex: Novērš lapas vai faila indeksēšanu meklētājprogrammās.
- nofollow: Neļauj meklētājprogrammām sekot saites lapā.
- nav: Līdzvērtīgs "noindex, nofollow".
- noarchive: Neļauj meklētājprogrammām parādīt lapas kešēto versiju.
- nosnippet: Neļauj meklētājprogrammām parādīt lapas fragmentu meklēšanas rezultātos.
Piemēram, lai uzdotu Google robotam neindeksēt un nesekot PDF failos esošajām saitēm, varat izmantot:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Kā iestatīt X-Robots-Tag
Apache serverī
X-Robots-Tag var iestatīt .htaccess failā vai httpd.conf failā. Lūk, kā piemērot noindex direktīvu visiem PDF failiem:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>NGINX serverī
NGINX gadījumā varat pievienot direktīvu vietnes .conf failā:
atrašanās vieta ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Norādījumu iestatīšana konkrētiem rāpotājiem
Varat norādīt direktīvas konkrētiem pārlūkošanas rīkiem, nosaucot tos:
Header set X-Robots-Tag "googlebot: noindex, nofollow"X-Robots-Tag skatīšana
Atšķirībā no robots metazīmes X-Robots-Tag ir daļa no HTTP atbildes galvenes un nav redzama HTML kodā. Lūk, kā to apskatīt Google Chrome:
- ielādējiet URL adresi pārlūkprogrammā Google Chrome.
- Lai atvērtu izstrādātāja rīkus, noklikšķiniet uz lapas ar peles labo pogu un atlasiet "Inspect".
- Izvēlieties cilni "Tīkls".
- Pārlādējiet lapu no jauna.
- Kreisajā panelī atlasiet attiecīgo failu; HTTP galvenes, tostarp X-Robots-Tag, tiks parādītas labajā panelī.
Biežāk uzdotie jautājumi
Vai es varu izmantot X-Robots-Tag ar HTML lapām?
Jā, bet to biežāk izmanto failiem, kas nav HTML. HTML lapām ir vieglāk izmantot meta robots tagu HTML kodā.
Kā pārbaudīt, vai X-Robots-Tag darbojas?
Lai pārbaudītu HTTP atbildes galvenes, izmantojiet pārlūkprogrammas izstrādātāja rīku rīku Inspect rīku. Varat izmantot arī tiešsaistes rīkus, piemēram, Google URL pārbaudes rīku.
Vai X-Robots-Tag var aizstāt robots.txt?
Nē, X-Robots-Tag nevar aizstāt robots.txt direktīvas. Ja URL ir aizliegts robots.txt, meklētājprogrammas to nepārmeklēs un līdz ar to neredzēs X-Robots-Tag direktīvas.
Izprotot un pareizi ieviešot X-Robots-Tag, jūs varat iegūt precīzāku kontroli pār to, kā meklētājprogrammas mijiedarbojas ar dažādiem jūsu vietnes failu tipiem, uzlabojot vietnes SEO un lietotāju pieredzi.
