Qu'est-ce que l'étiquette X-Robots ?
La balise X-Robots est un composant facultatif de l'en-tête de réponse HTTP qui indique aux moteurs de recherche comment explorer et indexer une page web. Contrairement à la balise meta robots, qui est réservée aux pages HTML, la balise X-Robots peut être utilisée pour les fichiers non HTML tels que les images, les fichiers texte et les PDF.
Voici un exemple de réponse HTTP avec une balise X-Robots :
HTTP/1.1 200 OK Date : Tue, 15 Nov 2022 11:38:17 GMT Content-encoding : gzip (...) X-Robots-Tag : noindex (...)Pourquoi l'étiquette X-Robots est-elle importante ?
L'étiquette X-Robots est importante car elle vous permet de contrôler la manière dont les moteurs de recherche indexent et explorent non seulement les pages HTML, mais aussi d'autres types de fichiers. Cette capacité est particulièrement utile pour gérer de grands sites web avec une variété de types de contenu. Les principaux avantages sont les suivants
- Flexibilité : Appliquer les directives à des fichiers non HTML tels que les PDF, les images et les vidéos.
- Application globale : Cette balise permet d'appliquer des règles à l'ensemble du site ou à des répertoires et types de fichiers spécifiques.
- Expressions régulières : Utilisez des modèles avancés pour cibler efficacement plusieurs URL.
Directives communes pour X-Robots-Tag
Vous pouvez utiliser n'importe quelle directive valide pour la balise meta robots avec la balise X-Robots. Voici quelques directives couramment utilisées :
- noindex : Empêche la page ou le fichier d'être indexé par les moteurs de recherche.
- nofollow : Empêche les moteurs de recherche de suivre les liens sur la page.
- aucun : Équivalent de "noindex, nofollow".
- noarchive : Empêche les moteurs de recherche d'afficher une version en cache de la page.
- nosnippet : Empêche les moteurs de recherche d'afficher un extrait de la page dans les résultats de recherche.
Par exemple, pour demander à Googlebot de ne pas indexer ou suivre les liens dans les fichiers PDF, vous pouvez utiliser :
<Files ~ "\.pdf$"> En-tête X-Robots-Tag "noindex, nofollow" </Files>Comment configurer le X-Robots-Tag
Sur le serveur Apache
Vous pouvez configurer la balise X-Robots dans le fichier .htaccess ou le fichier httpd.conf. Voici comment appliquer une directive noindex à tous les fichiers PDF :
<Files ~ "\.pdf$"> En-tête X-Robots-Tag "noindex" </Files>Sur le serveur NGINX
Pour NGINX, vous pouvez ajouter la directive dans le fichier .conf du site :
location ~* \.pdf$ { add_header X-Robots-Tag "noindex" ; }Définir des directives pour des robots spécifiques
Vous pouvez spécifier des directives pour des robots particuliers en les nommant :
Header set X-Robots-Tag "googlebot : noindex, nofollow"Visualisation de l'étiquette X-Robots
Contrairement à la métabalise robots, la balise X-Robots fait partie de l'en-tête de la réponse HTTP et n'est pas visible dans le code HTML. Voici comment l'afficher dans Google Chrome :
- Chargez l'URL dans Google Chrome.
- Cliquez avec le bouton droit de la souris sur la page et sélectionnez "Inspecter" pour ouvrir les outils de développement.
- Sélectionnez l'onglet "Réseau".
- Recharger la page.
- Sélectionnez le fichier concerné dans le panneau de gauche ; les en-têtes HTTP, y compris la balise X-Robots, s'affichent dans le panneau de droite.
FAQ
Puis-je utiliser le X-Robots-Tag avec des pages HTML ?
Oui, mais elle est plus couramment utilisée pour les fichiers non HTML. Pour les pages HTML, il est plus facile d'utiliser la balise meta robots dans le code HTML.
Comment puis-je vérifier que mon étiquette X-Robots fonctionne ?
Utilisez l'outil Inspect dans les outils de développement de votre navigateur pour vérifier les en-têtes de réponse HTTP. Vous pouvez également utiliser des outils en ligne tels que l'outil d'inspection d'URL de Google.
La balise X-Robots peut-elle remplacer le fichier robots.txt ?
Non, la balise X-Robots ne peut pas remplacer les directives du fichier robots.txt. Si une URL est interdite dans le fichier robots.txt, les moteurs de recherche ne l'exploreront pas et, par conséquent, ne verront pas les directives X-Robots-Tag.
En comprenant et en appliquant correctement la balise X-Robots, vous pouvez contrôler plus finement la manière dont les moteurs de recherche interagissent avec les différents types de fichiers de votre site web, améliorant ainsi le référencement de votre site et l'expérience de l'utilisateur.
