¿Qué es la etiqueta X-Robots?
La etiqueta X-Robots es un componente opcional de la cabecera de respuesta HTTP que informa a los motores de búsqueda sobre cómo rastrear e indexar una página web. A diferencia de la etiqueta meta robots, reservada para páginas HTML, la etiqueta X-Robots puede utilizarse para archivos no HTML, como imágenes, archivos de texto y PDF.
Este es un ejemplo de una respuesta HTTP con una etiqueta X-Robots:
HTTP/1.1 200 OK Fecha: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)¿Por qué es importante la etiqueta X-Robots?
La etiqueta X-Robots es importante porque permite controlar cómo los motores de búsqueda indexan y rastrean no sólo las páginas HTML, sino también otros tipos de archivos. Esta capacidad es especialmente útil para gestionar sitios web de gran tamaño con diversos tipos de contenido. Las principales ventajas son:
- Flexibilidad: Aplique directivas a archivos que no sean HTML, como PDF, imágenes y vídeos.
- Aplicación global: Utilice la etiqueta para aplicar reglas a todo el sitio o a directorios y tipos de archivo específicos.
- Expresiones regulares: Emplee patrones avanzados para dirigirse a varias URL de forma eficaz.
Directivas comunes para X-Robots-Tag
Puede utilizar cualquier directiva válida para la etiqueta meta robots con la etiqueta X-Robots. Estas son algunas de las directivas más utilizadas:
- noindex: Impide que la página o el archivo sean indexados por los motores de búsqueda.
- nofollow: Impide que los motores de búsqueda sigan los enlaces de la página.
- ninguno: Equivalente a "noindex, nofollow".
- noarchive: Evita que los motores de búsqueda muestren una versión en caché de la página.
- nosnippet: Evita que los motores de búsqueda muestren un fragmento de la página en los resultados de búsqueda.
Por ejemplo, para indicar a Googlebot que no indexe ni siga ningún enlace en archivos PDF, puede utilizar:
<Archivos ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Archivos>Cómo configurar el X-Robots-Tag
En el servidor Apache
Puede configurar la etiqueta X-Robots en el archivo .htaccess o httpd.conf. He aquí cómo aplicar una directiva noindex a todos los archivos PDF:
<Archivos ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Archivos>En el servidor NGINX
Para NGINX, puede añadir la directiva en el archivo .conf del sitio:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Definición de directivas para rastreadores específicos
Puede especificar directivas para rastreadores concretos nombrándolos:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Visualización de la etiqueta X-Robots
A diferencia de la metaetiqueta robots, la etiqueta X-Robots forma parte de la cabecera de respuesta HTTP y no es visible en el código HTML. A continuación se explica cómo verla en Google Chrome:
- Cargue la URL en Google Chrome.
- Haga clic con el botón derecho del ratón en la página y seleccione "Inspeccionar" para abrir las herramientas de desarrollo.
- Seleccione la pestaña "Red".
- Recarga la página.
- Seleccione el archivo correspondiente en el panel izquierdo; las cabeceras HTTP, incluida la etiqueta X-Robots, se mostrarán en el panel derecho.
Preguntas frecuentes
¿Puedo utilizar la etiqueta X-Robots con páginas HTML?
Sí, pero se utiliza más comúnmente para archivos no HTML. Para las páginas HTML, es más fácil utilizar la etiqueta meta robots dentro del código HTML.
¿Cómo puedo comprobar si mi X-Robots-Tag funciona?
Utilice la herramienta Inspeccionar de las herramientas para desarrolladores de su navegador para comprobar las cabeceras de respuesta HTTP. También puedes utilizar herramientas en línea como la Herramienta de inspección de URL de Google.
¿Puede la etiqueta X-Robots anular robots.txt?
No, la etiqueta X-Robots no puede anular las directivas de robots.txt. Si una URL no está permitida en robots.txt, los motores de búsqueda no la rastrearán y, en consecuencia, no verán las directivas X-Robots-Tag.
Si conoce e implementa correctamente la etiqueta X-Robots, podrá controlar mejor cómo interactúan los motores de búsqueda con los distintos tipos de archivos de su sitio web, lo que mejorará el SEO y la experiencia del usuario.
