JavaScript 渲染：爬虫在你的应用启动前看到的内容

搜索引擎首先获取你的 HTML 并随后渲染 JavaScript，在一个单独的过程和自己的队列中。任何仅在水合后存在的内容在第一次通过时都是不可见的，第二次通过的延迟在许多网站上以天计。AI 爬虫更严格：大多数根本不执行 JavaScript，因此原始 HTML 就是整页。这使得渲染一致性成为值得回答的问题。你提供的 HTML 是否携带与渲染 DOM 相同的标题、H1、规范、meta 描述、结构化数据和正文？在服务器渲染的网站上，它按构造就会相同。在客户端渲染的应用中，HTML 通常是一个 div 和一个脚本标签的壳，且一致性差距是完全的。壳也是我们自己的引擎标记为薄内容的原因，因为从外部看两者无法区分。一个 40 词的 HTML 文档无论其余 2,000 词稍后到达还是永远不出现，都是 40 词的文档。下面的检查获取原始 HTML，逐元素与同一页面的渲染版本进行比较，并报告两者偏离之处。若有偏差，请将该元素移入服务器响应，而不是让爬虫等待。