Google、新しいGooglebotクローラを追加：GoogleOther-ImageとGoogleOther-Video

イントロ

グーグルは、グーグルボット・ファミリーに2つの新しいウェブ・クローラーを導入した：

• Googleその他の画像

• グーグルその他のビデオ

これらの新しいクローラーは、バイナリデータのクローリングを強化するように設計されており、グーグルは研究開発を支援するとしている。

AIがSEOとデジタルマーケティングに与える影響について学ぶ。

新しいクローラーの紹介

2つの新しいクローラー、GoogleOther-Imageと GoogleOther-Videoは、それぞれ画像と動画のバイトをフェッチするためにGoogleOtherを最適化したバージョンである。GoogleOtherは当初、2023年4月に追加され、Googleの内部チームが公共のウェブをクロールするために使用され、それによってメインのGooglebotクローラのリソースが解放された。

ユーザー生成コンテンツを統合するメリットを発見してください。

Googleその他の画像

GoogleOther-Imageは、一般にアクセス可能な画像URLを取得するために調整されたGoogleOtherのバージョンです。ドキュメントによると、GoogleOther-Imageと GoogleOtherのユーザーエージェントトークンの下で動作します。完全なユーザーエージェント文字列はGoogleOther-Image/1.0 となります。

コンテンツの正確性を高めるための戦略を探る。

グーグルその他のビデオ

GoogleOther-Videoは、一般公開されている動画 URL を取得するために設計された GoogleOther のバージョンです。GoogleOther-Image と同様、GoogleOther-VideoとGoogleOther のユーザエージェントトークンを使用します。完全なユーザエージェント文字列はGoogleOther-Video/1.0 となります。

デジタル広告におけるAIの未来について読む。

新型クローラーの目的

Googleは、研究開発に使用される可能性のあるバイナリデータのクロールをより良くサポートするために、これらの新しいクローラを立ち上げた。この取り組みは、画像や動画データを効率的に扱うグーグルの能力を向上させることを目的としている。

AIを活用したマーケティングにおけるガイドラインの役割を理解する。

グーグル・クローラーの概要

グーグルはさまざまな種類のクローラーを利用している：

• グーグルボット：Googleの検索プロダクトのメインクローラーで、常にrobots.txtのルールを尊重する。

• 特殊なクローラー：これらのクローラーは（AdsBotのような）特定の機能を実行し、robots.txtのルールを尊重する場合としない場合があります。

• ユーザー・トリガー・フェッチャー：エンドユーザーがフェッチをトリガーするツールや製品の機能。例えば、Google Site Verifierや一部のGoogle Search Consoleツールは、ユーザーのアクションに基づいてGoogleにページをフェッチするよう送信します。

AIを活用した高品質なコンテンツ制作についてご紹介します。

GoogleのIPアドレス範囲とDNSマスク

グーグルは、クローラーの種類ごとにIPアドレスの範囲と逆引きDNSマスクをリストアップしている：

• Googlebot:googlebot.json(crawl----.googlebot.com または geo-crawl----.geo.googlebot.com)

• 特殊なクローラー:special-crawlers.json(rate-limited-proxy----.google.com)

• ユーザトリガフェッチャー:user-triggered-fetchers.json(---.gae.googleusercontent.com)

広告におけるAIの倫理を探る。

なぜこれが重要なのか

ウェブサイトのクローリング活動やボット活動を監視している人々にとって、これらの新しいGoogleOtherクローラを正当なGoogleボットとして認識することは不可欠です。ログファイルにこれらのクローラーからのアクティビティが表示されている場合、それは本物であり、検索およびデータ処理能力を向上させるためのGoogleの努力の一部であると確信することができます。

AIツールにおけるコンテンツ制限の重要性を理解する。