Apa yang dimaksud dengan X-Robots-Tag?
X-Robots-Tag adalah komponen opsional dari header respons HTTP yang memberi tahu mesin pencari cara merayapi dan mengindeks halaman web. Tidak seperti tag meta robots, yang diperuntukkan bagi halaman HTML, X-Robots-Tag dapat digunakan untuk file non-HTML seperti gambar, file teks, dan PDF.
Berikut adalah contoh respons HTTP dengan X-Robots-Tag:
HTTP/1.1 200 OK Tanggal: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Mengapa X-Robots-Tag Penting?
X-Robots-Tag penting karena memungkinkan Anda untuk mengontrol bagaimana mesin pencari mengindeks dan merayapi tidak hanya halaman HTML tetapi juga jenis file lainnya. Kemampuan ini sangat berguna untuk mengelola situs web besar dengan berbagai jenis konten. Manfaat utamanya meliputi:
- Fleksibilitas: Menerapkan arahan ke file non-HTML seperti PDF, gambar, dan video.
- Aplikasi Global: Gunakan tag untuk menerapkan aturan di seluruh situs atau ke direktori dan jenis file tertentu.
- Ekspresi Reguler: Gunakan pola lanjutan untuk menargetkan beberapa URL secara efisien.
Arahan Umum untuk X-Robots-Tag
Anda dapat menggunakan arahan apa pun yang valid untuk tag meta robot dengan X-Robots-Tag. Berikut adalah beberapa arahan yang umum digunakan:
- noindex: Mencegah halaman atau berkas agar tidak diindeks oleh mesin pencari.
- nofollow: Mencegah mesin pencari mengikuti tautan pada halaman.
- tidak ada: Setara dengan "noindex, nofollow."
- noarchive: Mencegah mesin pencari menampilkan versi cache halaman.
- nosnippet: Mencegah mesin pencari menampilkan cuplikan halaman dalam hasil pencarian.
Misalnya, untuk menginstruksikan Googlebot agar tidak mengindeks atau mengikuti tautan apa pun dalam file PDF, Anda dapat menggunakan:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Cara Mengatur X-Robots-Tag
Pada Server Apache
Anda dapat mengatur X-Robots-Tag di file .htaccess atau file httpd.conf. Berikut ini cara menerapkan arahan tanpa indeks ke semua file PDF:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>Di Server NGINX
Untuk NGINX, Anda dapat menambahkan arahan dalam berkas .conf situs:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Mengatur Arahan untuk Perayap Tertentu
Anda dapat menentukan arahan untuk perayap tertentu dengan menamainya:
Set header X-Robots-Tag "googlebot: noindex, nofollow"Melihat Tag X-Robots-Tag
Tidak seperti tag meta robot, X-Robots-Tag merupakan bagian dari header respons HTTP dan tidak terlihat dalam kode HTML. Berikut ini cara melihatnya di Google Chrome:
- Muat URL di Google Chrome.
- Klik kanan pada halaman tersebut dan pilih "Inspect" untuk membuka alat bantu pengembang.
- Pilih tab "Jaringan".
- Muat ulang halaman.
- Pilih file yang relevan pada panel kiri; header HTTP, termasuk X-Robots-Tag, akan ditampilkan pada panel kanan.
Pertanyaan Umum
Dapatkah saya menggunakan X-Robots-Tag dengan halaman HTML?
Ya, tetapi lebih umum digunakan untuk file non-HTML. Untuk halaman HTML, lebih mudah menggunakan tag meta robots di dalam kode HTML.
Bagaimana cara menguji apakah X-Robots-Tag saya berfungsi?
Gunakan alat Inspect pada alat pengembang browser Anda untuk memeriksa header respons HTTP. Anda juga dapat menggunakan alat bantu online seperti Alat Inspeksi URL Google.
Dapatkah X-Robots-Tag menimpa robots.txt?
Tidak, X-Robots-Tag tidak dapat mengganti arahan robots.txt. Jika sebuah URL dilarang di robots.txt, mesin pencari tidak akan merayapi URL tersebut dan, akibatnya, tidak akan melihat arahan X-Robots-Tag.
Dengan memahami dan menerapkan X-Robots-Tag dengan benar, Anda dapat memperoleh kontrol yang lebih baik atas bagaimana mesin pencari berinteraksi dengan berbagai jenis file situs web Anda, sehingga meningkatkan SEO situs Anda dan pengalaman pengguna.
