XML 站点地图：为爬虫提供干净的站点地图

站点地图是发现工具。它告诉搜索引擎哪些 URL 你认为值得爬取，以及每个 URL 大约何时最后更改。在小型内部链接干净的网站上，它几乎不变。对于大型网站、新站点或有用页面离主页 4 次点击的情况，它往往决定一周内是否能被发现。两个属性使站点地图有用：它可被发现，并且它诚实。可发现意味着它被 robots.txt 引用或直接提交，并且位于稳定的 URL。诚实意味着其中的每个 URL 都是你想要索引的，即 canonical、返回 200 并可被爬取。最常见的缺陷是一次生成后从未重新生成，列出现在已重定向或 404 的 URL，同时遗漏自那以后发布的所有内容。第二个缺陷是站点地图包含 CMS 能生成的每个 URL，包括标签归档、分页重复和参数化变体。两者都会让搜索引擎对文件失去信任。检查确认站点地图可被发现、解析为有效 XML，并正确使用索引和子结构。随后它们会把列出的每个 URL 与你自己的指令逐一比对：一份写着被阻止、noindex 或非 canonical 网址的文件是在自相矛盾，而搜索引擎化解矛盾的办法，就是减少对这份文件的信任。