什么是可索引性?
可索引性是指网页被搜索引擎索引的能力。只有可索引的网页才能出现在搜索结果中。
搜索引擎(如谷歌)必须为网页编制索引:
- 发现页面 URL
- 抓取(下载其内容)
- 处理(从抓取的网页中理解和提取关键信息)
只有这样,页面才能出现在搜索结果中。
如果网络爬虫无法正常抓取网站页面,那么该页面就无法被适当索引。没有索引,你的网站页面就无法带来任何搜索流量,因为搜索引擎仍然看不到它。
可索引性为何重要?
索引性允许搜索引擎在 SERP 中显示您的网站页面。没有索引,就无法为网站带来有机搜索流量。
有时,让某些页面不可被索引更有意义。例如,当涉及到登陆页面、低质量页面或 "感谢您的订阅 "页面时,首选不可索引页面。毕竟,你不希望这些页面出现在搜索结果中。
不过,如果您希望 URL 能够获得排名,就应该确保这些页面可以被抓取和索引。
是什么让网页可被索引?
要被视为 "可索引",页面必须符合以下标准:
1.页面必须可抓取
一个网页要想被索引,搜索引擎的爬虫必须首先能够访问和抓取其内容。直接影响网页 "可抓取性 "的是 robots.txt 文件。
robots.txt 文件是位于网站根目录下的一个小文件。它的作用是向网络爬虫提供指令,告诉它们不得抓取网站上的哪些页面。否则,机器人会抓取它们在网站上能找到的任何页面;它们默认会这样做。
在某些情况下,设置这样的 "限制 "是合理的。不过,确保不会在不知情的情况下屏蔽希望被索引的网页还是很有必要的。
2.页面必须没有 "Noindex "标签
noindex "标签是一种页面指令,用于指示搜索引擎不要索 引特定页面。基本上,它可以阻止页面出现在 SERP 中。
有时,建议 "不索引 "某些页面,如登陆页面、登录页面、薄页面或低质量页面,或 "谢谢 "页面,使其保持 "隐私"。
但是,如果您使用不当,比如说忘记从您希望被索引的页面中移除该指令,您就会失去有机搜索流量。
您可以使用Ranktracker 的网站审核工具抓取您的网站,以确保您希望被索引的网页都没有 "noindex "标签。
3.页面必须规范
页面代码中的规范标签(rel="canonical")定义了重复、近似和类似页面的主要版本。这意味着只有规范页面才能被索引,而其非规范版本将被排除在外。
除非您在页面上添加规范标签,否则 Google 将依靠内部和外部反向链接、XML 站点地图和重定向等信号来决定哪个 URL 将在其索引中 "代表 "该集群。
这意味着,如果你想让你的页面显示在搜索结果中,它就不能声明任何其他页面为其规范版本。良好的搜索引擎优化做法是为可索引页面设置自引用规范标签。
如何帮助 Google 索引您的网页
以下是帮助 Google 索引网站页面的方法:
1.向谷歌提交网站地图
网站地图本质上是一个包含网站所有页面的列表(通常为 XML 格式)。
网站地图的作用是向 Google 说明您希望索引的网站页面。
在提交网站地图之前,请检查它是否反映了网站的当前状态,并修复任何错误,如断开的链接、无主页面等。
您可以使用 GoogleSearch Console 向 Google 提交网站地图。
2.通过 URL 检测工具提交单个页面
如果您只想请求索引或重新索引几个单独的 URL, 可以使用Google Search Console 中的 URL 检查工具。
URL检查工具是谷歌搜索控制台中的一个诊断工具,它可以让你深入了解谷歌索引的网页版本,并允许你实时测试URL和查看网页的渲染版本等。
它还允许您向 Google 提交单个页面。
如果您想请求索引新的 URL(或重新抓取和重新索引更新过的 URL),您可以选择 "请求索引 "按钮告诉 Google 这样做。如果您的实时 URL 没有错误,Google 就会将您的页面添加到抓取队列中。
但请注意,每天请求索引的 URL 数量是有限制的。
3.提供内部链接,以便更好、更快地发现信息
另一种鼓励抓取、进而加快网站索引速度的方法是使用内部链接。
在搜索互联网时,谷歌爬虫会沿着链接形成的路径进行搜索。因此,当您网站上的一个页面链接到另一个页面时,这些爬虫就会沿着现有的路径进行搜索,从而发现新的内容。
没有内部链接的页面被称为 "孤儿页面"。
这就是为什么确保提供内部链接来往于最重要的页面至关重要的原因。当然,当你创建一个组织良好的网站时,这通常会自然而然地发生。
不过,检查一下网站上是否存在孤儿页面(即没有内部链接指向的页面)也无妨。您可以使用Ranktracker 的网站审计工具进行检查。
与此相关的是,你应该确保这些指向可索引页面的内部链接没有 "nofollow "标签,因为 Google 不会抓取 nofollow 链接。
常见问题
Robots.txt 文件在索引能力中的作用是什么?
robots.txt 文件向网络爬虫提供了网站哪些页面或部分不应被抓取的指令,从而影响了页面的可抓取性,进而影响了页面的可 索引性。
如何检查我的网页是否被索引?
您可以使用Google Search Console 检查网页是否被收录。该工具可帮助您深入了解 URL 的索引状态。
孤岛页面对索引能力有何影响?
没有内部链接指向的孤岛页面不太可能被搜索引擎发现和索引。确保所有重要页面在网站内都有良好的链接,可以提高它们的索引能力。
通过确保网页可抓取、无 "noindex "标签和正确的规范化,可以提高网页被索引和出现在搜索引擎结果中的几率。定期审核和战略性内部链接可进一步支持这一目标。