X-로봇 태그는 무엇인가요?
X-로봇 태그는 검색 엔진에 웹 페이지를 크롤링하고 색인을 생성하는 방법을 알려주는 HTTP 응답 헤더의 선택적 구성 요소입니다. HTML 페이지용으로 예약된 메타 로봇 태그와 달리 X-Robots-Tag는 이미지, 텍스트 파일, PDF와 같은 비 HTML 파일에 사용할 수 있습니다.
다음은 X-Robots-Tag가 포함된 HTTP 응답의 예입니다:
HTTP/1.1 200 OK Date: Tue, 15 Nov 2022 11:38:17 GMT 콘텐츠-인코딩: gzip (...) X-Robots-Tag: noindex (...)X-로봇 태그가 중요한 이유는 무엇인가요?
X-로봇 태그는 검색 엔진이 HTML 페이지뿐만 아니라 다른 파일 유형도 색인하고 크롤링하는 방식을 제어할 수 있기 때문에 중요합니다. 이 기능은 다양한 콘텐츠 유형이 포함된 대규모 웹사이트를 관리할 때 특히 유용합니다. 주요 이점은 다음과 같습니다:
- 유연성: PDF, 이미지, 동영상 등 HTML이 아닌 파일에 지시문을 적용할 수 있습니다.
- 글로벌 적용: 태그를 사용하여 사이트 전체에 규칙을 적용하거나 특정 디렉토리 및 파일 유형에 적용합니다.
- 정규 표현식: 고급 패턴을 사용하여 여러 URL을 효율적으로 타겟팅하세요.
X-로봇-태그에 대한 공통 지시어
메타 로봇 태그에 유효한 모든 지시문을 X-Robots-Tag와 함께 사용할 수 있습니다. 다음은 일반적으로 사용되는 몇 가지 지시어입니다:
- noindex: 페이지 또는 파일이 검색 엔진에 의해 색인화되지 않도록 합니다.
- nofollow: 검색 엔진이 페이지의 링크를 따르지 못하도록 합니다.
- 없음: "noindex, nofollow"와 동일합니다.
- 아카이브 없음: 검색 엔진에 캐시된 버전의 페이지가 표시되지 않도록 합니다.
- nosnippet: 검색 엔진이 검색 결과에 페이지의 스니펫을 표시하지 않도록 합니다.
예를 들어 Google봇에 PDF 파일의 링크를 색인하거나 따르지 않도록 지시하려면 다음을 사용할 수 있습니다:
<파일 ~ "\.pdf$"> 헤더 집합 X-로봇-태그 "noindex, nofollow" </Files>X-로봇 태그 설정 방법
아파치 서버에서
.htaccess 파일 또는 httpd.conf 파일에서 X-Robots-Tag를 설정할 수 있습니다. 모든 PDF 파일에 noindex 지시문을 적용하는 방법은 다음과 같습니다:
<파일 ~ "\.pdf$"> 헤더 집합 X-로봇-태그 "noindex" </Files>NGINX 서버에서
NGINX의 경우 사이트의 .conf 파일에 지시문을 추가할 수 있습니다:
위치 ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }특정 크롤러에 대한 지시어 설정하기
특정 크롤러에 이름을 지정하여 지시어를 지정할 수 있습니다:
헤더 세트 X-로봇-태그 "googlebot: noindex, nofollow"X-로봇 태그 보기
로봇 메타 태그와 달리 X-Robots-Tag는 HTTP 응답 헤더의 일부이며 HTML 코드에는 표시되지 않습니다. Google 크롬에서 이를 확인하는 방법은 다음과 같습니다:
- Google 크롬에서 URL을 로드합니다.
- 페이지를 마우스 오른쪽 버튼으로 클릭하고 '검사'를 선택하면 개발자 도구가 열립니다.
- '네트워크' 탭을 선택합니다.
- 페이지를 새로고침합니다.
- 왼쪽 패널에서 관련 파일을 선택 하면 오른쪽 패널에 X-Robots-Tag를 포함한 HTTP 헤더가 표시됩니다.
자주 묻는 질문
HTML 페이지에 X-로봇 태그를 사용할 수 있나요?
예, 하지만 HTML이 아닌 파일에 더 일반적으로 사용됩니다. HTML 페이지의 경우 HTML 코드 내에 메타 로봇 태그를 사용하는 것이 더 쉽습니다.
X-로봇 태그가 작동하는지 테스트하려면 어떻게 해야 하나요?
브라우저의 개발자 도구에 있는 검사 도구를 사용하여 HTTP 응답 헤더를 확인하세요. Google의 URL 검사 도구와 같은 온라인 도구를 사용할 수도 있습니다.
X-Robots-Tag가 robots.txt를 재정의할 수 있나요?
아니요, X-Robots-Tag는 robots.txt 지시어를 재정의할 수 없습니다. robots.txt에서 URL이 허용되지 않으면 검색 엔진이 해당 URL을 크롤링하지 않으므로 X-Robots-Tag 지시어가 표시되지 않습니다.
X-로봇 태그를 이해하고 올바르게 구현하면 검색 엔진이 웹사이트의 다양한 파일 유형과 상호 작용하는 방식을 보다 세밀하게 제어하여 사이트의 SEO 및 사용자 경험을 향상시킬 수 있습니다.
