76% 的网站拥有 llms.txt 文件却搞错了

在我们于 2026 年 5 月 4 日至 7 月 19 日审计的 142 个网站中，79 个根本没有 llms.txt 文件。 在发布了一个的 63 中，48 发布了一个损坏的。 这留下了 13 个网站——样本中的 9%——拥有有效文件。

llms.txt 提案很简单：在你域名根目录放置一个 markdown 文件，为 AI 代理提供你网站的策划、纯文本地图。 当有人向 ChatGPT、Claude 或 Perplexity 提问你的网站可以回答的问题时，代理在推理时获取你的 llms.txt，得到你选择的上下文——而不是对你主页 HTML 的最佳努力抓取。该 specification 故意保持最小化：一个 H1 包含你网站的名称，一个 blockquote 摘要，以及指向你最重要内容的 markdown 链接列表。

采用一年后，差距不再是认知。 它是执行。

数据集

方法论：每个域名的最新完成审计快照，取自 5 月 4 与 July 19, 2026 之间的生产检查。 所有域名已匿名化。 样本为自选样本——仅包含已进行审核的网站——并倾向于小型和中型物业，因此请将其视为方向性而非网络普查。

近乎每个无效文件背后的 3 错误

我们的引擎根据规范结构验证一个 llms.txt，失败证据异常一致。 3 问题几乎涵盖一切——大多数损坏文件一次性拥有 2 或 3 之多：

1. 无引用链接（40 的 48 无效文件）。 文件存在，但不包含 markdown 链接。 这正是格式的全部意义——一个代理应阅读的 URL 经过策划的列表。 没有链接的文件就像没有地图的海报。

2. 缺少摘要块引用（38/48）。 规范要求在标题后立即出现一个 > Summary 块引用，告诉代理网站是什么以及如何解释链接。 没有它，代理只能得到一堆 URL，却没有框架来在它们之间做选择。

3. 缺少 H1 标题（33 的 48）。 规范唯一标记为严格必需的部分。 以散文、注释或 H2 开头的文件给解析器没有锚点。

所有 3 下的模式相同：团队生成占位符——有时字面上重复“llms.txt”，或一段营销文案——并将其部署为复选框。 读取此类文件的代理什么也学不到，随后继续。 获取被浪费。

当链接本身失效时

有效性是结构。 下一步检查是引用的 URL 是否真正解析。 大多数结构有效的网站也通过此检查，但失败案例具有启发性：7 网站列出的链接返回错误，平均每站点有 19 个失效引用。 一家电子商务物业在其 llms.txt 中列出了 3,042 个产品 URL，但这些 URL 已不再解析——文件显然只生成一次，未再次更新。

这个轶事是 7 的样本，因此请将其视为警告而非统计数据。 但机制值得记住：一个 llms.txt 是活文档。 如果你的目录、文档或定价页面移动，文件就会腐烂——代理跟随失效链接可能会得出你的内容已消失而非迁移的结论。

有效文件的样子

规范自身的示例是最佳模板。 一个最小、有效的 llms.txt 需要一个 H1、一个摘要块引用，以及至少一个带注释的链接列表：

# Acme Analytics

> Acme Analytics is a reporting API for ecommerce teams. This file lists our most useful resources for AI agents.

## Docs

- [API quickstart](https://acme.example/docs/quickstart): Authentication and first request in 5 minutes
- [Metrics reference](https://acme.example/docs/metrics): Every metric, its definition, and its SQL

## Product

- [Pricing](https://acme.example/pricing): Plans and usage limits
- [Changelog](https://acme.example/changelog): Release notes since 2024

## Optional

- [Full documentation index](https://acme.example/docs): Everything else, for larger context windows

Optional 部分有明确含义：上下文不足的代理可能会跳过它。 把你最好的材料放在它上面。

graph TD
    A[代理获取 /llms.txt] --> B{文件存在?}
    B -->|404 或错误| C[代理回退到抓取 HTML]
    B -->|200| D{有效结构?}
    D -->|没有 H1、摘要或链接| E[获取浪费——没有可用上下文]
    D -->|有效| F{参考已解析?}
    F -->|死链| G[代理得出内容已消失]
    F -->|链接有效| H[代理阅读你策划的页面]

为什么这值得 30 分钟

网站地图告诉搜索引擎存在什么。 robots.txt 告诉爬虫什么是允许的。 llms.txt 是唯一告诉 AI 代理什么重要的文件——以它本地读取的格式编写，在它决定你的站点是否能回答用户问题时使用。 它也是你完全控制的少数 AI 搜索杠杆之一：没有模型提供商，没有排名算法，没有等待爬取。

修复序列很短。 按上述模板编写文件——10 分钟。 仅链接到已解析的页面，并优先使用稳定 URL. 每当你的信息架构发生变化时，重新生成或审查它。 然后像代理一样验证：获取它，解析它，跟随链接。

付费的 SEOReport 诊断 会检查所有 3 层——存在性、有效性以及引用是否解析——并在其 AI 就绪部分报告结果，因此你可以看到你的网站属于哪一组（共3组）。

关键点

采用是第一个缺口：56% 的审计站点没有文件。 但更尖锐的发现是，发布文件并不是终点——3 在 4 的站点中，发布了文件但代理无法使用。 在有效少数派中的站点没有做任何奇怪的事。 它们写了一个 H1，一个 2-句子摘要，以及一份可用链接列表。 这就是整个障碍——并且 91% 的样本在其下方。