的网站在 llms.txt 文件上搞错了

在 2026 年 5 月 4 日至 7 月 19 日期间审计的 142 个网站中，79 个根本没有 llms.txt 文件。 在发布一个的 里， 发布了一个损坏的. 这留下了 个网站——样本的 ——拥有有效文件. llms.txt 提案很简单：在你的域名根目录放置一个 markdown 文件，为 AI 代理提供你网站的策划、纯文本地图。 当有人向 ChatGPT、Claude 或 Perplexity 提问你的网站可以回答的问题时，代理在推理时获取你的 llms.txt，得到你选择的上下文——而不是对你主页 HTML 的最佳努力抓取。该 specification 故意保持最小：一个 H1 包含你网站的名称，一个 blockquote 摘要，以及指向你最重要内容的 markdown 链接列表。 采用一年后，差距不再是认知. 它是执行.

数据集

方法论：每个域名的最新完成审计快照，来自 5 月 至 的生产检查。 所有域名已匿名化。 样本是自选的——网站所有者进行审计的——并倾向于小型和中型物业，因此请将其视为方向性而非网络普查。

个错误几乎涉及每个无效文件

我们的引擎根据规范结构验证一个 llms.txt，失败证据异常一致。 个问题几乎涵盖一切——大多数损坏文件一次性包含 或 个：

. 无引用链接（ 个无效文件中的 ）。 文件存在，但不包含 markdown 链接. 这正是该格式的全部意义——一个供代理阅读的 URL 经过策划的列表. 没有链接的文件就像没有地图的海报. 2. 缺少摘要块引用（38/48）。 规范要求在标题后立即出现一个 > Summary 块引用，告诉代理网站是什么以及如何解释链接。 没有它，代理只能得到一系列 URL，却没有框架来在它们之间做选择. . 缺少 H 标题（ / ）。 规范唯一标记为严格必需的部分. 以散文、注释或 H 开头的文件给解析器没有锚点.

所有 下的模式相同：团队生成占位符——有时字面上重复“llms.txt”，或一段营销文案——并将其部署为复选框. 读取此类文件的代理什么也学不到，然后继续前进. 获取被浪费了.

当链接本身失效时

有效性是结构. 下一步检查是引用的 URL 是否真正解析. 大多数结构有效的网站也通过此项，但失败具有启发性： 个网站列出的链接返回错误，平均每个网站有 个失效引用. 一家电子商务物业在其 llms.txt 中列出了 3,042 个产品 URL，但这些 URL 已不再解析——文件显然只生成一次，来自产品源，且从未重新生成。 这个轶事是 的一个样本，因此请将其视为警告而非统计数据. 但这一机制值得记住：llms.txt 是一份活文档。 如果你的目录、文档或定价页面移动，文件就会腐烂——代理跟随失效链接可能会得出你的内容已消失，而非已移动的结论.

有效文件的样子

规范自身的示例是最佳模板. 一个最小、有效的 llms.txt 需要一个 H1、一个摘要块引用，以及至少一组带注释的链接列表：

# Acme Analytics

> Acme Analytics is a reporting API for ecommerce teams. This file lists our most useful resources for AI agents.

## Docs

- [API quickstart](https://acme.example/docs/quickstart): Authentication and first request in 5 minutes
- [Metrics reference](https://acme.example/docs/metrics): Every metric, its definition, and its SQL

## Product

- [Pricing](https://acme.example/pricing): Plans and usage limits
- [Changelog](https://acme.example/changelog): Release notes since 2024

## Optional

- [Full documentation index](https://acme.example/docs): Everything else, for larger context windows

Optional 部分有明确含义：上下文不足的代理可以跳过它。 把你最好的材料放在它上面。.

这值得 分钟

网站地图告诉搜索引擎存在什么。. robots.txt 告诉爬虫允许什么。 llms.txt 是唯一告诉 AI 代理什么重要的文件——以它本地读取的格式编写，在它决定你的网站是否能回答用户问题时使用。 它也是你完全控制的少数 AI 搜索杠杆之一：没有模型提供商，没有排名算法，没有等待爬取。. 修复序列很短。. 按上述模板编写文件—— 分钟。. 仅链接到已解析的页面，并优先使用稳定 URL。. 每当你的信息架构更改时，重新生成或审阅它。. 然后像代理一样验证：获取它，解析它，跟随链接. 我们运行的每一次审计都会检查所有 层——存在性、有效性以及引用是否解析——作为 AI 就绪家族的一部分. 如果你想知道你的网站属于哪一组，你可以 run your own report 并在 AI 就绪部分找到 llms.txt 检查。

最终结论

采用是第一个缺口： 的审计网站没有文件. 但更尖锐的发现是，发布文件并不是终点——在 个 的网站中，发布了文件但代理无法使用的比例. 有效少数派的网站没有做任何奇怪的事. 他们写了一个 H，一个 句摘要，以及一份可用链接列表. 那就是整个情况——样本中 的比例低于此值.