• 网络抓取

谷歌网络爬虫模拟空闲状态以改善 JavaScript 渲染效果

  • Felix Rose-Collins
  • 2 min read
谷歌网络爬虫模拟空闲状态以改善 JavaScript 渲染效果

介绍

谷歌在其网络爬行过程中引入了一项新技术,以改进对 JavaScript 较多的网站的渲染和索引。这种方法是在浏览器环境中模拟 "空闲 "状态,触发某些可能会被忽略的 JavaScript 事件,从而提高爬虫完全呈现网页延迟内容并编制索引的能力。

闲置 "模拟技术

在最近一期 "Search Off The Record "播客节目中,谷歌渲染团队的佐伊-克利福德(Zoe Clifford)解释了 Googlebot 现在如何模拟空闲期来触发 JavaScript 事件,特别是requestIdleCallback。开发人员通常使用这个函数将非关键内容的加载推迟到浏览器不忙的时候。以前,Googlebot 渲染页面的效率很高,这意味着它很少会达到空闲状态,从而导致一些内容无法正常加载和索引。

Clifford 分享了一个流行视频网站的示例,该网站将加载内容的时间推迟到requestIdleCallback被触发之后。然而,由于浏览器从未真正闲置,回调没有执行,导致页面加载不完整。

渲染流程的改进

为了解决这个问题,Googlebot 现在会在一段时间内假装空闲,即使在活跃的呈现任务期间也是如此。这一变化可确保触发空闲回调,从而使包括延迟元素在内的所有内容都能加载并被索引。这一调整对于 JavaScript 较多的网站尤为重要,因为在这些网站中,为了优化性能,内容加载经常会延迟。

对网络开发人员的建议

Clifford 强调了在 JavaScript 中实施优雅错误处理的重要性,以防止出现空白页面或内容缺失等问题,因为这些问题会对索引产生负面影响。我们鼓励开发人员有效地管理错误,确保即使某些代码失效,页面仍能正常呈现内容。

对搜索引擎优化专业人员的影响

对于搜索引擎优化专业人员来说,这一发展强调了对网站进行持续监控和测试的必要性,以发现潜在的渲染问题。与开发团队合作对于确保网站既方便用户使用,又能针对搜索引擎进行优化至关重要。随时了解搜索引擎如何处理 JavaScript 和呈现网页,对于保持和提高搜索可见性至关重要。

结论

Google 通过模拟空闲状态来处理 JavaScript 较多的网站,是网络抓取和索引技术的一大进步。这一变化不仅提高了内容索引的准确性,还凸显了搜索引擎优化和网站开发实践的动态特性。

如需进一步了解 Google 的呈现方式以及如何对其进行优化,请考虑浏览相关讨论和资源,例如 Google 呈现所有页面(包括 JavaScript 较多的网站)的方式。这些信息对于旨在优化网站性能和搜索引擎可见性的开发人员和搜索引擎优化专业人员来说非常宝贵。

Felix Rose-Collins

Felix Rose-Collins

Ranktracker's CEO/CMO & Co-founder

Felix Rose-Collins is the Co-founder and CEO/CMO of Ranktracker. With over 15 years of SEO experience, he has single-handedly scaled the Ranktracker site to over 500,000 monthly visits, with 390,000 of these stemming from organic searches each month.

开始使用Ranktracker...免费的!

找出阻碍你的网站排名的原因。

创建一个免费账户

或使用您的证书登录

Different views of Ranktracker app