X-Robots-Tag

Що таке мітка X-Robots-Tag?

Тег X-Robots-Tag - це необов'язковий компонент заголовка HTTP-відповіді, який інформує пошукові системи про те, як сканувати та індексувати веб-сторінку. На відміну від мета-тега robots, який зарезервований для HTML-сторінок, тег X-Robots можна використовувати для не-HTML-файлів, таких як зображення, текстові файли та PDF-файли.

Ось приклад HTTP-відповіді з тегом X-Robots-Tag:

HTTP/1.1 200 OK Дата: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)

Чому мітка X-Robots-Tag важлива?

Тег X-Robots-Tag важливий, оскільки дозволяє контролювати, як пошукові системи індексують і сканують не тільки HTML-сторінки, але й інші типи файлів. Ця можливість особливо корисна для управління великими веб-сайтами з різноманітним контентом. Основні переваги включають

• Гнучкість: Застосовуйте директиви до файлів не-HTML, таких як PDF, зображення та відео.
• Глобальне застосування: Використовуйте тег, щоб застосувати правила на всьому сайті або до певних каталогів і типів файлів.
• Регулярні вирази: Використовуйте розширені шаблони для ефективного таргетування декількох URL-адрес.

Загальні директиви для X-Robots-Tag

Ви можете використовувати будь-які директиви, які є дійсними для мета-тега robots з тегом X-Robots-Tag. Ось деякі з найпоширеніших директив:

• noindex: Забороняє індексацію сторінки або файлу пошуковими системами.
• nofollow: Забороняє пошуковим системам переходити за посиланнями на сторінці.
• жодного: Еквівалентно "noindex, nofollow".
• noarchive: Забороняє пошуковим системам показувати кешовану версію сторінки.
• nosnippet: Забороняє пошуковим системам показувати фрагмент сторінки в результатах пошуку.

Наприклад, ви можете вказати Googlebot не індексувати і не переходити за посиланнями в PDF-файлах:

<Files ~ "\.pdf$"> Набір заголовків X-Robots-Tag "noindex, nofollow" </Files> </Files

Як налаштувати тег X-Robots-Tag

На сервері Apache

Ви можете налаштувати тег X-Robots-Tag у файлі .htaccess або httpd.conf. Ось як застосувати директиву noindex до всіх PDF-файлів:

<Files ~ "\.pdf$"> Набір заголовків X-Robots-Tag "noindex" </Files> </Files

На сервері NGINX

Для NGINX ви можете додати директиву до файлу .conf сайту:

location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }

Налаштування директив для конкретних сканерів

Ви можете вказати директиви для конкретних кроулерів, назвавши їх:

Набір заголовків X-Robots-Tag "googlebot: noindex, nofollow"

Перегляд тегу X-Robots-Tag

На відміну від метатега robots, тег X-Robots-Tag є частиною заголовка HTTP-відповіді і не відображається в HTML-коді. Ось як його переглянути в Google Chrome:

1. Завантажте URL-адресу в Google Chrome.
2. Клацніть правою кнопкою миші на сторінці та виберіть "Перевірити", щоб відкрити інструменти розробника.
3. Виберіть вкладку "Мережа".
4. Перезавантажте сторінку.
5. Виберіть відповідний файл на лівій панелі; заголовки HTTP, включаючи тег X-Robots-Tag, будуть відображені на правій панелі.

Поширені запитання

Чи можна використовувати тег X-Robots-Tag з HTML-сторінками?

Так, але він частіше використовується для не-HTML-файлів. Для HTML-сторінок простіше використовувати мета-тег robots в HTML-коді.

Як перевірити, чи працює мій X-Robots-Tag?

Для перевірки заголовків HTTP-відповідей використовуйте інструмент "Перевірка" в інструментах розробника вашого браузера. Ви також можете використовувати онлайн-інструменти, такі як Інструмент перевірки URL-адрес від Google.

Чи може тег X-Robots-Tag замінити robots.txt?

Ні, тег X-Robots-Tag не може замінити директиви robots.txt. Якщо URL-адреса заборонена в robots.txt, пошукові системи не будуть сканувати її і, відповідно, не побачать директиви X-Robots-Tag.

Розуміючи і правильно використовуючи тег X-Robots-Tag, ви можете краще контролювати взаємодію пошукових систем з різними типами файлів вашого сайту, покращуючи SEO та користувацький досвід вашого сайту.