Google이 사이트를 많이 크롤링하나요? 잠재적 문제 설명

소개

구글의 게리 일리스는 사이트 크롤링이 갑자기 증가하면 해킹이나 무한 공간 문제와 같은 근본적인 문제가 있을 수 있다고 경고했습니다.

크롤링 스파이크 이해

Google의 애널리스트인 Gary Illyes에 따르면 웹사이트의 크롤링 활동이 갑자기 급증하는 경우 신중하게 접근해야 한다고 합니다. 긍정적인 신호처럼 보일 수 있지만 종종 더 심각한 문제를 나타낼 수 있습니다.

일리스의 조언입니다:

"검색 엔진이 예기치 않게 사이트에서 미친 듯이 크롤링하기 시작한다고 해서 섣불리 기뻐하지 마세요."

무한 스페이스와 웹사이트 해킹이라는 두 가지 일반적인 문제를 주의해야 합니다.

무한 공간과 크롤링 스파이크

무한 공백은 캘린더 모듈이나 무한 필터링이 가능한 제품 목록과 같이 잠재적인 URL을 무제한으로 생성하는 웹사이트 섹션을 말합니다. 이로 인해 검색 엔진 크롤러가 지나치게 활성화될 수 있습니다.

일리예스가 설명합니다:

"사이트에 일반적으로 검색 사용자가 유용하다고 생각하는 페이지가 있다면 크롤러는 한동안 이러한 무한한 공간에 흥미를 느낄 것입니다."

이를 완화하기 위해 크롤러가 무한 공간에 액세스하는 것을 차단하는 robots.txt 파일을 사용할 것을 권장합니다.

해킹된 사이트와 크롤링 열풍

크롤링 증가의 또 다른 우려되는 원인은 보안 침해입니다. 해커는 평판이 좋은 사이트에 스팸을 삽입하여 처음에는 크롤러를 속여 새로운 콘텐츠로 보이는 것을 색인화할 수 있습니다.

일리예스가 메모합니다:

"악의적인 사용자가 어떻게든 액세스 권한을 얻게 되면... 사이트에 쓰레기 같은 콘텐츠가 넘쳐날 수 있습니다... 크롤러는 한동안 새 페이지에 흥미를 느끼고 즐겁게 크롤링할 것입니다."

크롤링 스파이크에 대응하기

일리예스는 예상치 못한 크롤링의 급격한 증가는 근본 원인을 파악할 때까지 잠재적인 문제의 증상으로 간주할 것을 제안합니다.

"예상치 못한 크롤링의 급격한 증가를 증상으로 간주하세요... 그렇지 않다는 것을 증명할 때까지는요. 아니면 제가 강경한 비관론자일 수도 있죠."

해킹된 사이트 해결

일리스는 체계적인 복구 프로세스를 강조하며 해킹된 사이트에 대처하기 위한 가이드를 제공합니다.

해킹된 사이트 수정을 위한 Google 동영상에서 제공하는 팁

1. 취약점을 파악합니다: Google의 웹마스터 도구와 같은 도구를 사용하여 문제를 감지하세요.

2. 취약점을 수정합니다: 소프트웨어 업데이트, 비밀번호 변경 등을 통해 보안 구멍을 막습니다.

3. 해킹된 콘텐츠를 정리합니다: 스팸, 멀웨어, 손상된 페이지 또는 기타 삽입물을 제거합니다.

4. 보안 강화: 방화벽 및 빈번한 업데이트와 같은 추가 보안 조치를 구현하세요.

5. 검토 요청하기: 사이트가 깨끗해지면 Google에 보안 경고를 검토하고 제거하도록 요청하세요.

구글의 동영상은 스팸 문제에 비해 멀웨어 문제에 대한 검토 프로세스가 더 빠르다는 점을 강조합니다.

Google의 존 뮬러가 알려주는 추가 팁

• URL 제거 도구를 사용합니다: 해킹된 페이지의 색인을 빠르게 제거합니다.

• 전반적인 사이트 품질 개선: 해킹된 콘텐츠를 제거하는 것 이상으로 사이트 품질 향상에 집중하세요.

• 영향이 오래 지속될 것으로 예상됩니다: Google의 신뢰를 완전히 회복하는 데 몇 달이 걸릴 수 있습니다.

웹사이트 보안의 중요성

웹사이트 보안은 사용자 신뢰와 검색 엔진 순위를 유지하는 데 매우 중요합니다. 크롤링 활동의 갑작스러운 급증은 즉각적인 주의가 필요한 심각한 문제를 나타낼 수 있습니다.