重定向和 URL 正规化：每页一个地址

每个站点都有 4 个默认前端入口：http 和 https，带 www 与不带 www。访问者或爬虫可以到达其中任何一个。规范化将它们合并为 1 个规范地址，经过一次 301 跳转即可到达，因此链接权益、分析和 Cookie 都会聚集在同一位置。重定向问题会叠加而不是自行显现。当旧规则和新规则同时触发时，会形成链路，将一次请求变成 3 次跳转。每一次跳转都会增加延迟并稀释信号，爬虫会放弃过长的链路。若 2 条规则对规范形式产生分歧——一条在末尾追加斜杠，另一条则去除斜杠——则会形成循环，页面对所有人（包括本应报告它的爬虫）都无法访问。重定向还涉及安全维度。一个 http URL 仍停留在 http 上，会留下一个明文跳转，响应在传输过程中可能被修改，并且在搜索引擎看来会把站点拆分成 2 个地址。下面的检查从外部跟踪每一次跳转，像爬虫一样，并报告完整路径而非仅仅目标。请在边缘处修复规则，在 1 个位置，使新的重定向取代旧的，而不是堆叠在其上。