Back to articles

13% 的受审计站点屏蔽了 AI 爬虫——更正我们自己发布的 40.8%

SEOReport Team·
ai-crawlersrobots-txtai-searchgenerative-engine-optimizationtechnical-seodata-analysis

我们重新读取了样本中的每一个 robots.txt,发现我们自己的解析器存在 2 个缺陷。更正后的结果是 45 个受审计站点中有 6 个,即 13.3%,而不是我们最初发布的 40.8%。更正后的计数将训练爬虫和搜索爬虫合并在一起,并不是 AI 搜索排除率。

2026年8月31日更新。本文8月20日发布的版本以“在我们审计的 49 个站点中,有 20 个——40.8%”开篇。这个数字有双重错误。40.8% 是未通过该检查的单次审计运行所占的比例,而不是不同站点所占的比例;把它反乘回站点数,得出的“20 个站点”从来没有人实际数过。更糟的是,当我们回头对照规范重新读取样本中的每一个 robots.txt 时,发现一半的失败结果是由我们自己解析器中的 2 个缺陷制造出来的。更正后的数字见下文,而这次更正如今是本文更有价值的那一半。

2026年8月31日,我们对当前引擎窗口内审计过的全部 48 个不同域名重新抓取了该文件,其中 45 个提供了 robots.txt。在这 45 个站点中,有 6 个站点,即 13.3%,将至少 1 个主要 AI 爬虫挡在了整个站点之外。另一个极端是,有 8 个站点完全没有适用于 AI 爬虫的规则——连一条可供它们遵守的通配符指令都没有。这占样本的 17.8%。

剩下的 31 个站点,占样本的 68.9%,其 robots.txt 声明了 AI 爬虫确实会读取的策略,但没有在全站范围内屏蔽任何一个 AI 爬虫。这个计数无法说明其中有多少站点所有者有意审查过这些策略;仅限制训练爬虫,也不能证明搜索可见性因此丧失。

全站屏蔽至少 1 个 AI 爬虫613.3%
完全没有适用于 AI 爬虫的规则817.8%
有明确规则,无全站屏蔽3168.9%

研究方法。统计范围是在我们当前引擎窗口内完成过审计的每一个不同域名,窗口期为2026年5月23日至8月31日,共计 48 个域名、228 次报告运行。存储的判定结果沿用的是有缺陷的解析器给出的答案,因此上表并不是存储结果的汇总,而是对这些域名线上 robots.txt 文件的同日重新抓取:于8月31日读取,并用修正后的解析器进行评估。48 个域名中有 3 个已不再提供任何 robots.txt,因此分母为 45。该样本是自选样本——这些都是有人主动选择进行审计的站点——并且偏向中小型站点。请将这些比例视为对网络长尾的方向性参考,而不是对整个网络的估计。文中不披露具体域名。

45 个受审计站点 robots.txt 中的 AI 爬虫设置(2026-08-31 重新读取)

这次更正本身就是证据的一部分

重新读取文件暴露出两处处理错误:一是空 disallow 值,二是具名爬虫组与通配符规则之间的关系。RFC 9309(英文)给出了公开的解释:空路径会被忽略,适用的具名组优先于通配符组。针对同一爬虫的多个组可能需要合并;仅凭规则在文件中的先后顺序,并不能可靠地确定策略。

这些缺陷已经修复,回归测试也保留了暴露它们的案例。在本样本中,此前被标记为已屏蔽的 5 个站点实际上并未屏蔽,而此前被标记为未屏蔽的 1 个站点实际上处于屏蔽状态。更正后的结果是对所抓取文件的一次注明日期的观察。它既不能确证当前的访问状况,也不能确证全网范围的普遍比例。

robots.txt 只是访问环节之一。即使文件允许抓取,CDN 质询、登录墙或网络拒绝也可能阻止内容被获取。反过来,有意设置的训练限制也不能证明某个站点在 AI 搜索中不可见。13.3% 这一数字合并了不同用途的爬虫,不能被当作 AI 搜索排除率来呈现。

搜索访问与训练许可是两项不同的决定

OpenAI 的爬虫文档(英文)区分了用于搜索发现的 OAI-SearchBot 和用于潜在模型训练的 GPTBot。两者的控制相互独立。ChatGPT-User 代表由用户发起的访问,所起的作用又有所不同。策略审查应当写明它打算允许或限制的具体用途。

Anthropic 的文档同样说明(英文),其训练、搜索和用户检索分别使用不同的爬虫。除非这确实是站点所有者的本意,否则不要把“AI 机器人”这个笼统说法变成一个单一的权限开关。

上述每个爬虫,以及 Google、Apple、Meta 和 Amazon 发布的爬虫标识,在我们的AI 爬虫参考中都有独立页面,列出其确切的 robots.txt 标识和运营方的相关文档(英文)。

Google 有自己的一套控制入口。我们的生成式搜索指南介绍了 Search Console 中的收录设置,以及抓取、索引和摘要展示资格。Google-Extended 是另一项独立的控制;在 robots.txt 中设置它,并不能代替对 Search Console 这项设置的检查。

这些区分在商业上很有价值。企业可能希望潜在客户能够发现其公开文档,同时就训练问题另作决定。无论是允许规则还是收录设置,都不能保证某个回答一定会引用该页面。它们只是确立了发现得以发生的部分条件。

对照您原本想要的策略,检查一个重要 URL

选择一个潜在客户应当能够找到的页面:一篇实用指南、一段产品说明或一个开发者示例。记录提供方和爬虫用途、适用的策略,以及实际返回的响应。保留时间戳,并区分经过验证的真实提供方请求与仅仅借用其 user-agent 名称的测试。

如果站点所有者希望被搜索发现,而相关的搜索爬虫却被无意中禁止,就修复这一具体冲突。如果训练屏蔽是有意为之,就将其记录为有意设置。不要仅仅为了让笼统的机器人评分更“绿”而移除它。

缺少具名规则并不自动构成缺陷。通配符规则可能已经约束了该爬虫;如果没有任何组适用,robots 标准并不会把这种缺失视为禁止。明确的规则可以记录意图,但规则行数越多,并不意味着访问策略本身越好。

修改文件后,检查线上的实际响应。由服务商托管的文件或缓存可能与代码仓库中的副本不同。然后验证这个重要页面本身,包括经过所有重定向后的最终落地地址。可索引性冲突一文解释了为什么允许抓取与允许索引是两项相互独立的观察。

衡量访问是否转化为有用的可见性

在寻找结果之前,先保存策略和响应方面的证据。Google 生成式 AI 的展示次数、提供方的引用、引荐访问以及有价值的产品操作,各自回答的是不同的问题。记录它们的来源和报告周期,而不是把它们汇总成一个凭空构造的 AI 可见性总量。

对 SEOReport 而言,最有力的公开证据是:一个受影响的页面、站点所有者期望的行为、一项具体的修复,以及一个可重复的验证结果。读者无需了解私有的检测方法,就能评估这些事实。AI 搜索就绪指南将这些观察串联成一套实用的审查流程。

这次更正改变了原标题所传达的结论。我们的样本支持的是一个规模较小、注明日期的爬虫限制计数。真正有用的工作是:判断哪些限制符合站点所有者的意图,检查实际交付的页面,并衡量所选搜索平台实际报告的结果。

获取您网站的完整诊断

一份有据可依的报告和优先级行动计划,采用每月积分的订阅方案。