グーグルボットとは？
Googlebotは、検索インデックスを含むGoogleの様々なサービスのために情報を収集するGoogleのウェブクローラーに与えられた名前です。
主に2つのバージョンがある：Googlebot DesktopとGooglebot Smartphoneである。モバイルファーストインデックスに伴い、GooglebotスマートフォンはGoogleの検索インデックスを動かす主要なクローラーとなった。
では、Googlebotはどのように機能するのか？
Googlebotは常にウェブをクロールして新しいページを発見し、検索インデックスに追加するためにページを処理に送り、新しい/更新された情報を探すためにページを再クロールする。
このプロセスの間、Googlebotはrobots.txtファイルのルールや、ページやリンク上のクローラーに対するディレクティブに厳密に従います。
なぜグーグルボットが重要なのか？
Googlebotは、Google検索エンジン全体を動かす主要ツールの1つである。これがなければ、検索全体（ひいてはSEO）は存在しない。Googlebotがウェブサイトをクロールしなければ、そのウェブサイトはインデックスされず、検索結果にも表示されない。
したがって、SEOの専門家やウェブマスターは、Googlebotの仕組みを理解する必要がある。その上、クローラーがクローラビリティやディスカバビリティの問題なく、適切にサイトにアクセスできるようにすることも重要だ。
クローリングフレンドリーなウェブサイトのためのベストプラクティス
Googlebotにウェブサイトを適切にクロールしてもらい、ページをインデックスさせたいのであれば、あることを確実に実行しなければ ならない。クロールフレンドリーなウェブサイトを維持するために、定期的に行うべきベストプラクティスを以下にご紹介します。
1.Robots.txtファイルをチェックする
ウェブサイト上のRobots.txtファイルは、クロールされる内容を制御することができます。クローラーディレクティブを使用してボットと通信します。
robots.txtファイルが、インデックスさせたいウェブサイトのページやセクションをGooglebotにクロールさせないようにする必要があります。
次に、robots.txtテストツールを使って、ファイルにエラーがないか調べます。
robots.txtがGooglebotからアクセス可能であること、つまりサーバーレベルでブロックされていないことを確認する必要がある。
2.サイトマップを送信する
サイトマップの提出は、クロールされインデックスされたいページをGoogleに知らせる最も簡単な方法です。
YoastやRank Mathなど、WordPressで人気のSEOプラグインを使えば、サイトマップの作成は難しいことではない。これらのプラグインは自動的にサイトマップを作成し、送信することができます。
生成されたURLは次のようになります：yourdomainname.com/sitemap_index.html
サイトマップURLを手動で送信するには、Google Search Consoleにアクセスし、メインメニューの「インデックス」セクションにある「サイトマップ」をクリックする必要があります。
3.クローラーディレクティブを賢く使う
robots.txtファイルとは別に、ページレベルのディレクティブがあり、どのページのクロールが許可されているか（または許可されていないか）をクローラに知らせます。
したがって、インデックスさせたいページに "noindex "ディレクティブがないことを確認する必要がある。同様に、外部リンクもクロールさせたいのであれば、"nofollow "ディレクティブがないことを確認してください。
ChromeやFirefoxのSEOツールバーを使って、ページのディレクティブをチェックすることができます。
4.ページ間に内部リンクを張る
ページをより早くインデックスさせるもうひとつの簡単な方法は、すでにインデックスされている別のページにリンクさせることだ。Googlebotはページを再クロールするので、内部リンクを見つけて素早くクロールしてくれる。
クロールとは別に、内部リンクはいわゆる「リンクジュース」をページに渡し、ページランクを上げる。
5.サイト監査でクローラビリティとインデクサビリティの問題を見つける
最後に、サイト監査ツールを使って、ウェブサイトのインデックス性とクローラビリティに関する問題を見つけることができます。
サイト監査は、壊れたページ、過剰なリダイレクト、リダイレクトチェーン、noindexページ、nofollowリンク、オーファンページ（内部リンクのないページ）などを見つけるのに役立ちます。
RanktrackerのWeb Auditのようなツールを使えば、無料でウェブサイトのSEOの健全性を監視することができる。
よくあるご質問
クロールとインデックスは同じものなのか？
いいえ、この2つは同じではありません。クロールとは、ウェブ上のページやリンクを発見すること。インデックス作成とは、クロール中 に発見されたページのコンテンツやつながりを保存、分析、整理することです。
ページがインデックスされて初めて、関連するクエリの結果として表示されるようになる。
私のサイトにアクセスしているウェブクローラーが本当にGooglebotかどうかを確認できますか？
スパマーやその他のトラブルメーカーがGoogleボットと称してウェブサイトにアクセスしているのではないかと心配な場合は、クローラーが本当にGoogleのクローラーかどうかを確認することができる。
Googlebotのメインクローラーとは？
Googlebot スマートフォンが今日の主要なクローラーである。
ユーザーエージェントトークン：Googlebot
フルユーザーエージェント文字列: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
グーグルボット・クローラーの全リストはこちら。
