已发现 - 尚未编入索引：Google 为何推迟抓取

“已发现 - 尚未编入索引”表示 Google 知道该 URL 存在，但还没有抓取它，因此还没有读过该网页上的任何一个字。对于最近几周发布的网页，这通常只是排队，无需处理就会自行消失。如果您在意的网页在这里停留了数周，或者数量不断上升，就说明您网站上的某些因素在拖慢发现或抓取，而这是可以修复的。

Google 对这一状态的解释

Google 的“网页索引编制”报告文档（2026 年 10 月核对）分 3 部分解释了这一状态：Google 已发现该网页，但尚未抓取；通常是因为 Google 想抓取该 URL，但预计抓取会导致网站过载，所以推迟了抓取；这也是报告中不显示上次抓取日期的原因。这段说明至少自 2021 年 12 月以来就没有变过，那时该报告还叫 "Index Coverage" 报告；如今这一状态归在“未编入索引”下。

这个定义带来 2 个推论。Google 还没有读过这个网页，因此还没有评判过它的内容，重写网页内容很少能解决问题。原因通常在网页周边：Google 是如何发现它的，有多少其他 URL 在争夺同样的抓取机会，您的网站看起来有多值得抓取，以及您的服务器响应如何。

flowchart TD
    A["Google 通过链接或 sitemap 得知该 URL"] --> B["URL 在 Google 的抓取计划中排队"]
    B -->|"推迟抓取"| C["已发现 - 尚未编入索引"]
    C -->|"重新安排"| B
    B -->|"已抓取"| D["Google 读取该网页"]
    D -->|"暂不编入索引"| E["已抓取 - 尚未编入索引"]
    D -->|"已编入索引"| F["网页已编入索引"]

“已抓取 - 尚未编入索引”是下一个阶段：Google 已抓取该网页，但决定暂不将其编入索引，这关乎网页本身。我们在“已抓取 - 尚未编入索引”的含义及何时需要修复一文中讨论了这一决定。

Google 为什么还没有抓取该 URL

原因从无害到结构性问题不等，而且一个网站往往同时存在不止一种。

1. URL 是新的，或者网站是新的。 Google 的抓取预算文档（2026 年 10 月核对）指出，抓取需求会因网站规模、更新频率、网页质量以及与其他网站相比的相关性而不同。新网站或很少更新的网站，通常抓取需求较低，因此其新 URL 要等待更久。

2. Google 只通过您的 sitemap 得知该 URL。 Google 把 sitemap 描述为一种提示，其关于链接的文档也指出，您在意的每个网页都应至少有 1 个来自您网站上其他网页的链接。Google 通常只会抓取带有 href 属性的 <a> 元素形式的链接；通过脚本跳转的按钮并不是可靠的路径。典型情况包括：只能经由很深的分页归档才能到达的文章、只能通过站内搜索找到的产品，以及没有任何链接指向的广告着陆页。我们关于没有内部链接的重要网页的审计数据显示，网站在 sitemap 中列出的网页里，有多少在我们检查过的其他网页中没有任何入站链接。

3. 过多低价值 URL 在争夺抓取。 Google 的抓取预算文档指出，如果没有您的引导，Google 会尝试抓取它所知道的您网站上的全部或大部分 URL。筛选和排序组合、站内搜索结果、内容单薄的标签归档、日历页面和跟踪参数，数量可能是您真实网页的许多倍。Google 关于分面导航的文档直言其代价：爬虫要访问非常多的筛选 URL，才能判断出这些 URL 毫无用处，而花在这上面的时间，就是没有花在有用的新 URL 上的时间。

4. 您的服务器发出了压力信号。 这正是 Google 自己的说明中给出的原因。其抓取预算文档指出，当网站返回服务器错误（5xx）或限流信号（例如 HTTP 429），以及响应变慢时，抓取容量上限就会下降。背后常见的模式有：每次请求都实时生成网页且没有缓存，防火墙或 CDN 规则向爬虫返回 429，以及主机在负载下出现故障。

5. 您的 sitemap 浪费了您交给 Google 的清单。 如果 sitemap 里塞满了会重定向、返回 404、带有 noindex 或被 robots.txt 屏蔽的 URL，就会发送相互矛盾的信号；除了被屏蔽的 URL 外，其余这些都在让 Google 把请求花在您并不希望编入索引的网页上。Google 还表示，只有当 <lastmod> 始终准确且可验证时才会使用它，并且会忽略 <priority> 和 <changefreq>。SEOReport 在 2026 年 5 月至 10 月间抓取了 29 个外部网站的 sitemap 页面，其中 8 个（28%）至少列出了一个会重定向、带有 noindex 标记或被 robots.txt 屏蔽的 URL。

“已发现 - 尚未编入索引”是问题吗？

这取决于其中有哪些 URL，以及它们停留了多久。Google 针对该报告的指导指出，URL 未编入索引并不一定是坏事。

如何确认是哪一种原因

从整个报告入手，再逐步细化到单个 URL。

1. 把已提交和未提交的 URL 分开。 在“网页索引编制”报告中，使用 sitemap 筛选器比较“所有已提交的网页”和“仅限未提交的网页”。如果处于此状态的 URL 大多未提交，说明 Google 正在发现您从未列出的 URL，指向原因 3。如果大多已提交，请检查链接、抓取需求和服务器。
2. 从示例 URL 中找模式。 Google 将示例列表限制为 1,000 行。将其导出，按路径和参数分组；?sort=、/tag/、/page/12/ 和 /search 这类模式很快就会显现。这些模式只有在数百行数据中才看得出来，所以无论是手动检查，还是在单次 AI 聊天会话中逐个检查 URL，往往都会漏掉它们。
3. 检查几个重要的 URL。 在网址检查工具中，“发现”部分会列出包含该 URL 的已提交 sitemap，以及 Google 可能用来找到它的“引荐网页”。如果只有 sitemap 而没有引荐网页，说明 Google 尚未通过您的链接找到该 URL。“测试实际网址”可确认 Google 的检查爬虫目前能否抓取该网页，但它不会告诉您 Google 是否会将其编入索引。
4. 检查服务器端。 “设置”下的“抓取统计信息”报告会显示抓取请求总数、平均响应时间和主机状态。Google 的抓取预算文档还指出，网址检查工具中出现 "Hostload exceeded"（超出主机负载），说明服务器容量就是瓶颈。Google 表示，网页数少于 1,000 个的网站通常用不到“抓取统计信息”报告；对这类网站，查看“网页索引编制”报告中的服务器错误 (5xx) 一行会更快。
5. 查看本应链接到该 URL 的网页源代码。 确认 HTML 中的链接是普通的 <a href>，而不是由脚本驱动的点击。

flowchart TD
    A["重要 URL 处于“已发现 - 尚未编入索引”"] --> B{"是最近几周发布的吗？"}
    B -->|"是"| C["持续观察，并确保有链接指向它"]
    B -->|"否"| D{"此状态下大多是未提交的 URL 吗？"}
    D -->|"是"| E["减少 URL 泛滥：筛选、参数、归档"]
    D -->|"否"| F{"网址检查显示了引荐网页吗？"}
    F -->|"否，只有 sitemap"| G["添加可抓取的内部链接"]
    F -->|"是"| H{"抓取统计信息中有响应缓慢、5xx 或 429 吗？"}
    H -->|"是"| I["修复服务器错误并提升容量"]
    H -->|"否"| J["清理 sitemap，并从权重高的网页添加链接"]

如何逐一修复这些原因

链接偏弱。 从 Google 已经频繁抓取的网页链接到该 URL：首页、栏目中心页、最新文章列表以及密切相关的网页。请使用普通的锚链接：

<!-- Google can follow this -->
<a href="/guides/pool-heat-pumps">Pool heat pump guide</a>

<!-- Google cannot reliably follow this -->
<span onclick="go('/guides/pool-heat-pumps')">Pool heat pump guide</span>

sitemap 杂乱。 只列出返回 200、且您希望出现在搜索结果中的规范 URL。删除会重定向、返回 404、带有 noindex 和被屏蔽的 URL，并且只有在网页内容真正发生变化时才更新 <lastmod>。我们的 XML sitemap 指南介绍了其结构，sitemap 规范性审计数据则展示了我们最常见到的问题。

URL 泛滥。 Google 关于分面导航的文档建议在 robots.txt 中禁止抓取筛选 URL，或者把筛选条件移到 URL 片段中（# 之后），片段不会被单独抓取。文档认为，对筛选链接使用 canonical 标记和 nofollow，长期效果较差。不要用 noindex 来节省抓取：Google 的抓取预算文档指出，Google 在放弃一个带 noindex 的网页之前，仍然会请求它。对于已删除的网页，请返回 404 或 410。针对筛选条件的 robots.txt 规则示例如下：

User-agent: *
Disallow: /*?*sort=
Disallow: /*?*color=
Disallow: /search?

部署前请先测试这些规则；匹配范围超出预期的规则会把真实网页也挡住（不带 ? 的 Disallow: /search 也会屏蔽 /search-engine-basics）。禁止抓取后，已知的筛选 URL 可能会从此状态转为“网址已被 robots.txt 屏蔽”，这是预期中的结果。我们的 robots.txt 与抓取权限指南说明了规则匹配的原理。

服务器压力。 找到并修复 5xx 响应的根源，对不随访客变化的网页进行缓存，并确保没有任何防火墙或 CDN 规则向 Google 返回 429。如果“抓取统计信息”显示响应时间持续上升，或出现 "Hostload exceeded"，请扩充服务器容量。

如何验证修复

在“网页索引编制”报告的问题详情页上，点击“验证修复”。Google 只会把已知存在该问题的 URL 排入队列，而不是整个网站；其文档指出，验证通常最多需要约 2 周，有时会更久。在此期间，网址检查工具会按 URL 显示进度：Google 抓取之后，就会出现“上次抓取时间”。

最常见的结果是该 URL 被编入索引，或转入“已抓取 - 尚未编入索引”。后者同样是进展：问题从“Google 能否访问到这个网页？”变成了“Google 是否想要这个网页？”。

完整诊断能为这一状态提供什么

Search Console 告诉您哪些 URL 正在等待。完整的 SEOReport 诊断会审计整个网站，检查您的网站向 Google 告知网页的 2 种途径，即 sitemap 和内部链接，并列出难以到达或被 sitemap 错误宣告的网页：会重定向、返回错误、带有 noindex 或被屏蔽的 sitemap URL，以及没有列入 sitemap 或没有从可抓取网页获得链接的文章。每项发现都会说明检查了多少个网页。Google 的抓取计划和您服务器的响应时间，仍需在“抓取统计信息”中查看。

常见问题

我应该为每个处于“已发现”状态的 URL 点击“请求编入索引”吗？

不应该。在原因修复后，只对少数优先 URL 使用它。Google 设有每日配额，而且提交请求并不保证会被编入索引。如果有数百个 URL 在等待，原因就是结构性的，修复链接、sitemap 或 URL 泛滥问题，能让它们一次性全部推进。

小型网站真的会有抓取容量问题吗？

通常不会。Google 的抓取预算指南主要面向网页数在 100 万个及以上、约每周更新的网站，或网页数在 10,000 个及以上、每天更新的网站，以及有大量 URL 处于此状态的网站。在 SEOReport 于 2026 年 5 月至 10 月间审计、且 sitemap 至少列出一个 URL 的 29 个外部网站中，sitemap 所列 URL 数量的中位数约为 90 个。Google 自己也建议网页数少于 1,000 个的网站用不到“抓取统计信息”报告，这指向同一个结论：对于这种规模的网站，先检查内部链接和抓取需求，再考虑服务器容量。

为什么这个状态下会列出我从未见过的 URL？

Google 会从它抓取的任何地方的链接中得知 URL，包括其他网站、旧网页，以及您自己的模板添加的参数。选择“仅限未提交的网页”即可把它们单独筛出来，再检查其中一个：“引荐网页”通常能显示它的来源。