Τι είναι η ετικέτα X-Robots-Tag;
Η ετικέτα X-Robots-Tag είναι ένα προαιρετικό στοιχείο της κεφαλίδας απόκρισης HTTP που ενημερώνει τις μηχανές αναζήτησης για τον τρόπο ανίχνευσης και ευρετηρίασης μιας ιστοσελίδας. Σε αντίθεση με την ετικέτα meta robots, η οποία προορίζεται για σελίδες HTML, η ετικέτα X-Robots-Tag μπορεί να χρησιμοποιηθεί για αρχεία μη HTML, όπως εικόνες, αρχεία κειμένου και PDF.
Ακολουθεί ένα παράδειγμα απόκρισης HTTP με ετικέτα X-Robots-Tag:
HTTP/1.1 200 OK Ημερομηνία: X-Robots-Tag: noindex (...)Γιατί είναι σημαντική η ετικέτα X-Robots;
Η ετικέτα X-Robots είναι σημαντική επειδή σας επιτρέπει να ελέγχετε τον τρόπο με τον οποίο οι μηχανές αναζήτησης ευρετηριάζουν και ανιχνεύουν όχι μόνο σελίδες HTML αλλά και άλλους τύπους αρχείων. Αυτή η δυνατότητα είναι ιδιαίτερα χρήσιμη για τη διαχείριση μεγάλων ιστότοπων με ποικίλους τύπους περιεχομένου. Τα βασικά οφέλη περιλαμβάνουν:
- Ευελιξία: Εφαρμόστε οδηγίες σε αρχεία που δεν είναι HTML, όπως PDF, εικόνες και βίντεο.
- Παγκόσμια εφαρμογή: Χρησιμοποιήστε την ετικέτα για να εφαρμόσετε κανόνες σε ολόκληρ ο τον ιστότοπο ή σε συγκεκριμένους καταλόγους και τύπους αρχείων.
- Κανονικές εκφράσεις: Χρησιμοποιήστε προηγμένα μοτίβα για να στοχεύσετε αποτελεσματικά πολλαπλές διευθύνσεις URL.
Κοινές οδηγίες για την ετικέτα X-Robots-Tag
Μπορείτε να χρησιμοποιήσετε οποιαδήποτε οδηγία που είναι έγκυρη για την ετικέτα meta robots με την ετικέτα X-Robots-Tag. Ακολουθούν μερικές ευρέως χρησιμοποιούμενες οδηγίες:
- noindex: Αποτρέπει την ευρετηρίαση της σελίδας ή του αρχείου από τις μηχανές αναζήτησης.
- nofollow: Αποτρέπει τις μηχανές αναζήτησης από το να ακολουθούν τους συνδέσμους στη σελίδα.
- κανένα: noindex, nofollow."
- noarchive: Αποτρέπει τις μηχανές αναζήτησης από το να εμφανίζουν μια αποθηκευμένη έκδοση της σελίδας.
- nosnippet: Αποτρέπει τις μηχανές αναζήτησης από το να εμφανίζουν ένα απόσπασμα της σελίδας στα αποτελέσματα αναζήτησης.
Για παράδειγμα, για να δώσετε εντολή στο Googlebot να μην ευρετηριάζει ή να μην ακολουθεί συνδέσμους σε αρχεία PDF, θα μπορούσατε να χρησιμοποιήσετε:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Πώς να ρυθμίσετε την ετικέτα X-Robots-Tag
Στον Apache Server
Μπορείτε να ρυθμίσετε την ετικέτα X-Robots-Tag στο αρχείο .htaccess ή στο αρχείο httpd.conf. Δείτε πώς μπορείτε να εφαρμόσετε μια οδηγία noindex σε όλα τα αρχεία PDF:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>Στον διακομιστή NGINX
Για το NGINX, μπορείτε να προσθέσετε την οδηγία στο αρχείο .conf του ιστότοπου:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Ρύθμιση οδηγιών για συγκεκριμένα προγράμματα ανίχνευσης
Μπορείτε να καθορίσετε οδηγίες για συγκεκριμένα προγράμματα ανίχνευσης, δίνοντάς τους ονόματα:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Προβολή της ετικέτας X-Robots-Tag
Σε αντίθεση με τη meta ετικέτα robots, η ετικέτα X-Robots-Tag αποτελεί μέρος της επικεφαλίδας απόκρισης HTTP και δεν είναι ορατή στον κώδικα HTML. Δείτε πώς μπορείτε να την προβάλετε στο Google Chrome:
- Φορτώστε τη διεύθυνση URL στο Google Chrome.
- Κάντε δεξί κλικ στη σελίδα και επιλέξτε "Inspect" για να ανοίξετε τα εργαλεία ανάπτυξης.
- Επιλέξτε την καρτέλα "Δίκτυο".
- Επαναφορτώστε τη σελίδα.
- Επιλέξτε το σχετικό αρχείο στον αριστερό πίνακα- οι επικεφαλίδες HTTP, συμπεριλαμβανομένης της ετικέτας X-Robots-Tag, θα εμφανιστούν στον δεξιό πίνακα.
Συχνές ερωτήσεις
Μπορώ να χρησιμοποιήσω την ετικέτα X-Robots-Tag σε σελίδες HTML;
Ναι, αλλά χρησιμοποιείται πιο συχνά για αρχεία μη HTML. Για σελίδες HTML, είναι ευκολότερο να χρησιμοποιείτε την ετικέτα meta robots μέσα στον κώδικα HTML.
Πώς μπορώ να ελέγξω αν η ετικέτα X-Robots-Tag λειτουργεί;
Χρησιμοποιήστε το εργαλείο Inspect στα εργαλεία ανάπτυξης του προγράμματος περιήγησής σας για να ελέγξετε τις επικεφαλίδες απόκρισης HTTP. Μπορείτε επίσης να χρησιμοποιήσετε διαδικτυακά εργαλεία όπως το εργαλείο επιθεώρησης URL της Google.
Μπορεί η ετικέτα X-Robots-Tag να παρακάμψει το robots.txt;
Όχι, η ετικέτα X-Robots-Tag δεν μπορεί να παρακάμψει τις οδηγίες robots.txt. Εάν μια διεύθυνση URL δεν επιτρέπεται στο robots.txt, οι μηχανές αναζήτησης δεν θα την ανιχνεύσουν και, κατά συνέπεια, δεν θα δουν τις οδηγίες X-Robots-Tag.
Κατανοώντας και εφαρμόζοντας σωστά την ετικέτα X-Robots-Tag, μπορείτε να αποκτήσετε λεπτομερέστερο έλεγχο του τρόπου με τον οποίο οι μηχανές αναζήτησης αλληλεπιδρούν με τους διάφορους τύπους αρχείων του ιστότοπού σας, βελτιώνοντας το SEO του ιστότοπού σας και την εμπειρία του χρήστη.
