X-Robots-Tagとは何ですか？
X-Robots-TagはHTTPレスポンスヘッダのオプションコンポーネントで、検索エンジンにウェブページのクロールとインデックス方法を通知します。HTMLページ専用のmeta robotsタグとは異なり、X-Robots-Tagは画像、テキストファイル、PDFなどの非HTMLファイルにも使用できます。
以下は、X-Robots-Tagを使ったHTTPレスポンスの例である：
HTTP/1.1 200 OK Date：Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)X-Robots-Tagはなぜ重要なのか？
X-Robots-タグは、検索エンジンがHTMLページだけでなく、他のファイルタイプもインデックスし、クロールする方法を制御することができるため、重要です。この機能は、様々な種類のコンテンツを持つ大規模なウェブサイトを管理する際に特に役立ちます。主な利点は以下の通りです：
- 柔軟性：PDF、画像、動画など、HTML以外のファイルにもディレクティブを適用できます。
- グローバルな適用：このタグを使用して、サイト全体または特定のディレクトリやファイル タイプにルールを適用します。
- 正規表現：高度なパターンを使用して、複数の URL を効率的にターゲットにします。
X-Robots-Tag 共通ディレクティブ
X-Robots-Tagには、meta robotsタグで有効なディレクティブを使用することができます。よく使われるディレクティブをいくつか紹介します：
- noindex：ページやファイルが検索エンジンにインデックスされないようにする。
- nofollow：検索エンジンがページ上のリン クをたどらないようにする。
- none：noindex, nofollow "と同じ。
- noarchive：検索エンジンがページのキャッシュバージョンを表示しないようにします。
- nosnippet：検索エンジンが検索結果にページのスニペットを表示しないようにします。
たとえば、GooglebotにPDFファイル内のリンクをインデックスしたりたどったりしないように指示するには、次のようにします：
<Files ~ "\.pdf$"> ヘッダーセット X-Robots-Tag "noindex, nofollow" </Files>X-Robots-Tagの設定方法
Apacheサーバー
.htaccessファイルまたはhttpd.confファイルでX-Robots-Tagを設定することができます。ここでは、すべてのPDFファイルにnoindexディレクティブを適用する方法を説明します：
<Files ~ "\.pdf$"> ヘッダーセットX-Robots-Tag "noindex" </Files>NGINXサーバー
NGINXの場合は、サイトの.confファイルにディレクティブを追加することができます：
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }.特定のクローラにディレクティブを設定する
特定のクローラに名前を付けてディレクティブを指定することができます：
ヘッダーセットX-Robots-Tag "googlebot: noindex, nofollow"X-Robotsタグの表示
robotsメタタグとは異なり、X-Robots-TagはHTTPレスポンスヘッダの一部であり、HTMLコードには表示されません。Google Chromeで表示する方法は以下の通りです：
- Google ChromeでURLを読 み込む。
- ページ上で右クリックし、"Inspect "を選択して開発者ツールを開く。
- ネットワーク」タブを選択する。
- ページをリロードする。
- 左側のパネルで該当するファイルを選択すると、X-Robots-Tagを含むHTTPヘッダーが右側のパネルに表示されます。
よくある質問
HTMLページでX-Robots-Tagを使用できますか？
しかし、HTML以外のファイルに使うのが一般的です。HTMLページの場合は、HTMLコード内のmeta robotsタグを使用する方が簡単です。
X-Robots-Tagが機能しているかどうかをテストするには？
ブラウザの開発者ツールのInspectツールを使って、HTTPレスポンスヘッダーをチェックしてください。GoogleのURL検査ツールのようなオンラインツールを使うこともできる。
X-Robots-Tagはrobots.txtを上書きできますか？
いいえ、X-Robots-Tagはrobots.txtディレクティブを上書きすることはできません。もしURLがrobots.txtで許可されていなければ、検索エンジンはそのURLをクロールせず、その結果X-Robots-Tagディレクティブも表示しません。
X-Robots-Tagを理解し、適切に実装することで、検索エンジンがあなたのウェブサイトの様々なファイルタイプとどのように相互作用するかをより細かく制御することができ、あなたのサイトのSEOとユーザーエクスペリエンスを向上させることができます。
