什么是去索引?
取 消索引是指将网页或网站从搜索引擎结果页面(SERP)中删除。这一过程可由网站所有者或搜索引擎启动。
取消索引的原因
-
由博主发起:
- 博客或网站所有者可能会删除他们不想出现在搜索引擎结果页面上的内容,如低质量或私人页面,如感谢页面、登陆页面、作者页面和登录页面。
-
由搜索引擎发起:
- 搜索引擎通常会取消对违反其准则的内容的索引。例如,谷歌在人工审核确认网站违反其垃圾邮件政策后,就会取消其索引。
为什么 Google 会删除我的网站?
如果您的行为违反了谷歌的垃圾邮件政策,谷歌将取消您网站的索引。这些政策是网站所有者必须遵守的准则,以确保其内容出现在谷歌搜索结果页面上。
如何取消搜索结果页面中的内容索引
使用 Noindex 元标签
noindex 元标签可防止网页出现在搜索结果中。要取消网页索引,请在网页 HTML 代码的 head 标签中添加以下 noindex 元标签:
<meta name="robots" content="noindex">
这就是将代码添加到网站 HTML 代码 head 标记中的效果:
<! DOCTYPE html> <html> <head> <meta name="robots" content="noindex"> (...) </head> <body> (...) </body> </html>
您还可以用爬虫机器人的名称代替robots
,指示特定的搜索引擎爬虫不要索引网页:
<meta name="googlebot" content="noindex">
使用 X-Robots-Meta 标签
X-Robots-Meta 标签可用于阻止网页和非 HTML 元素(如图片、视频和 PDF 文件)出现在搜索结果中。您可以使用以下 X-Robots-Meta 标签阻止网页或资源出现在搜索结果中:
X-Robots-Tag: noindex
该标签通过服务器配置文件或使用 PHP 等服务器端脚本语言在服务器端进行配置:
<?php header('X-Robots-Tag: noindex'); ?>
在 WordPress 中取消索引
WordPress 允许您阻止搜索引擎索引您的网站。为此,请导航至WordPress 控制面板 → 设置 → 阅读
,启用阻止搜索引擎索引本网站
,然后单击保存更改
。
要请求 Google 重新抓取并取消网站索引,请访问 Google Search Console,在 URL Inspection 字段中输入您的网站 URL,然后单击REQUEST INDEXING
。
常见问题
-
能否在 robots.txt 文件中添加 Noindex Meta 标签?
- robots.txt 文件不支持 noindex 元标记。请在 HTML 代码的 head 标记中使用 noindex 元标记。
-
我应该在 robots.txt 文件中阻止网页吗?
- 不要在 robots.txt 文件中阻止网页。Google 应能访问和抓取网页,以正确处理 noindex 指令。
-
如果在网页上长期添加 Noindex 规则会发生什么情况?
- 谷歌将停止抓取任何长期被宣布为 noindex 的网页,即使添加了 follow 属性。
-
能否删除重复网页?
- 不要删除重复网页的索引。相反,使用
rel="canonical"
链接元素指定网页的原始版本。
- 不要删除重复网页的索引。相反,使用
结论
取消索引是管理网页在搜索引擎结果页面中可见度的一种有价值的做法。通过了解取消索引的原因和方法,您可以确保搜索引擎只索引和显示您网站中最相关和高质量的内容。