Googleはあなたのサイトをたくさんクロールしていますか？潜在的な問題を解説

イントロ

グーグルのゲイリー・イリーズは、サイトのクロール数が突然増加した場合、ハッキングや無限スペースの問題など、根本的な問題が発生している可能性があると警告している。

這い上がるスパイクを理解する

グーグルのアナリスト、ゲイリー・イリーズによれば、あなたのウェブサイトのクロールが突然急増した場合は、慎重に対処すべきだという。ポジティブなサインのように見えるかもしれないが、それはしばしば深い問題を示している可能性がある。

とイリェスはアドバイスする：

「検索エンジンが不意にあなたのサイトから狂ったようにクロールし始めたとしても、早合点してはいけない。

無限スペースとウェブサイトハックである。

無限の空間と這い上がるスパイク

無限スペースとは、カレンダーモジュールや無限にフィルタリング可能な製品リストなど、無限の可能性を秘めたURLを生成するウェブサイトのセクションを指す。これは、検索エンジンのクローラーが過度にアクティブになる原因となる。

とイリェスは説明する：

"あなたのサイトが一般的に検索ユーザーが役に立つと思うページを持っているならば、クローラーは一時的にこれらの無限のスペースに興奮するだろう。"

これを軽減するために、彼はrobots.txtファイルを使ってクローラーが無限スペースにアクセスするのをブロックすることを勧めている。

ハッキングされたサイトとクローリング騒動

クロールが増えるもう一つの原因として、セキュリティ侵害がある。ハッカーは評判の良いサイトにスパムを注入し、最初はクローラーを騙して新しいコンテンツと思われるものをインデックスさせるかもしれない。

イリェスはこう指摘する：

"もし、善良でない人がどうにかしてアクセスすることに成功したら......彼らはあなたのサイトを、まあ、がらくたで溢れさせるかもしれない......クローラーは一時的にこれらの新しいページに興奮し、喜んでクロールするだろう。"

クロール・スパイクへの対応

イリェス氏は、根本的な原因が特定されるまでは、予期せぬクロールの急増を潜在的な問題の症状として扱うことを提案している。

"予期せぬハイハイの急激な増加を症状として扱う...そうでないと証明できるまでは。あるいは、私が強硬な悲観論者なだけかもしれない。"

ハッキングされたサイトへの対応

イリェス氏は、ハッキングされたサイトに対処するためのガイドを提供し、体系的な復旧プロセスを強調している。

ハッキングされたサイトの修復に関するGoogleのビデオからのヒント

1. 脆弱性を特定する：Googleのウェブマスターツールのようなツールを使って問題を検出する。

2. 脆弱性を修正する：ソフトウェアのアップデートやパスワードの変更などにより、セキュリティホールを塞ぐ。

3. ハッキングされたコンテンツを削除する：スパム、マルウェア、改ざんされたページ、その他のインジェクションを取り除く。

4. セキュリティを強化する：ファイアウォールや頻繁なアップデートなど、セキュリティ対策を強化する。

5. レビューを依頼する：サイトがきれいになったら、Googleにレビューとセキュリティ警告の削除を依頼する。

Googleのビデオでは、スパム問題に比べてマルウェア問題の方が審査プロセスが早いことが強調されている。

グーグルのジョン・ミューラー氏からのアドバイス

• URL削除ツールを使う：ハッキングされたページのインデックスを素早く解除。

• サイト全体の質の向上：ハッキングされたコンテンツを削除するだけでなく、サイトの質を高めることに重点を置く。

• 影響は長引くグーグルの信頼を完全に取り戻すには数ヶ月かかるかもしれない。

ウェブサイト・セキュリティの重要性

ウェブサイトのセキュリティは、ユーザーの信頼と検索エンジンのランキングを維持するために非常に重要です。クロール活動の突然の急増は、早急な対応が必要な深刻な問題を示している可能性があります。