XML 站点地图：为爬虫提供干净的站点地图

站点地图是发现工具。它告诉搜索引擎哪些 URL 你认为值得爬取，以及每个 URL 大约何时最后更改。在小型内部链接干净的网站上，它几乎不变。对于大型网站、新站点或有用页面离主页 4 次点击的情况，它往往决定一周内是否能被发现。两个属性使站点地图有用：它可被发现，并且它诚实。可发现意味着它被 robots.txt 引用或直接提交，并且位于稳定的 URL。诚实意味着其中的每个 URL 都是你想要索引的，即 canonical、返回 200 并可被爬取。最常见的缺陷是一次生成后从未重新生成，列出现在已重定向或 404 的 URL，同时遗漏自那以后发布的所有内容。第二个缺陷是站点地图包含 CMS 能生成的每个 URL，包括标签归档、分页重复和参数化变体。两者都会让搜索引擎对文件失去信任。健康的站点地图可以被找到，能解析为有效的 XML，并正确使用索引文件和子文件。它列出的每个 URL 也都应与你自己的指令一致，因为一份写着被阻止、noindex 或非 canonical 网址的文件是在自相矛盾，而搜索引擎化解矛盾的办法，就是减少对这份文件的信任。

SEOReport 的付费诊断在你自己网站的各页面上进行评估，展示每项发现背后的证据，并按优先级排列修复方案。 查看方案与定价.