WordPress“建议搜索引擎不索引本站点”会改变什么

WordPress 中的“建议搜索引擎不索引本站点”复选框（英文界面为“Discourage search engines from indexing this site”）会在网站的每个公开网页上添加一个值为 noindex, nofollow 的 robots meta 标签。Google 会遵守这个标签：它重新抓取到的每个带有该标签的网页都会从搜索结果中消失，新网页也不会被收录。对于不公开的预发布（staging）副本，这正是想要的效果。如果是您希望出现在 Google 中的正式网站，请立即取消勾选：它会随着 Google 的逐次重新抓取把整个网站从 Google 中移除，而访问者却看不出任何变化。

当前版本的 WordPress 中，这个设置会输出什么

这个复选框位于“设置 → 阅读”中“对搜索引擎的可见性”一行，WordPress 安装程序的设置界面上也提供同一个复选框。它只在数据库中保存一个值：blog_public 选项，勾选时为 0，未勾选时为 1。我们在 2026 年 10 月对照 WordPress 核心源代码检查了这个值会改变什么，当时的最新版本是 7.1.3：

• 每个前台网页都会带上 robots meta 标签。 主题标准的 head 输出中会包含这一行：

<meta name='robots' content='noindex, nofollow' />

• 内置的 XML 站点地图会关闭。 位于 /wp-sitemap.xml 的核心站点地图返回 404，WordPress 生成的 robots.txt 中的 Sitemap: 一行也会消失。
• robots.txt 不会新增任何屏蔽规则。 生成的文件仍保留通常的后台区域 Disallow 规则和针对 admin-ajax.php 的 Allow 规则。
• 不会添加任何 HTTP 标头。 WordPress 核心不会因这个设置发送 X-Robots-Tag 标头，所以该信号只存在于 HTML 中。
• 网站仍然是公开的。 复选框下方的说明文字是：“搜索引擎将本着自觉自愿的原则对待 WordPress 提出的请求。”访问者，以及任何不理会 robots meta 标签的爬虫，仍然可以读取每一个网页。
• 管理员只会看到一处提醒。 勾选期间，仪表盘的“概况”小工具会显示“自动建议搜索引擎不抓取”一行。

如果您的仪表盘使用西班牙语，具体措辞取决于语言区域。我们在 2026 年 10 月查阅了 WordPress 翻译项目：墨西哥、阿根廷、哥伦比亚和其他几个拉丁美洲语言区域将该标签译为“Disuade a los motores de búsqueda de indexar este sitio”，西班牙所用的西班牙语则译为“Pedir a los motores de búsqueda que no indexen este sitio”。在大多数西班牙语区域中，这一行在“Ajustes de lectura”界面上叫作“Visibilidad en los motores de búsqueda”，而在所有西班牙语区域中，仪表盘上的提示都是“Motores de búsqueda disuadidos”。

这个设置的行为在各 WordPress 版本中如何变化

针对旧版本写的建议至今仍在流传，而它们描述的是另一种机制。核心源代码显示经历了 3 个阶段：

5.3 的变化最为关键。在此之前，生成的 robots.txt 会告诉所有爬虫不要进入整个网站，于是 Google 不会抓取这些网页，也就永远看不到其中的 noindex 标签。其他网站链接到的网址可能在未被抓取的情况下仍留在 Google 索引中，Search Console 会将这种情况报告为“已编入索引，尽管遭到 robots.txt 屏蔽”；该状态的说明文章解释了其中的矛盾。从 5.3 起，这个复选框不再改动 robots.txt，只依靠 meta 标签。在当前的网站上，Disallow: / 要么来自实际存在的 robots.txt 文件，要么来自插件或主机商，绝不会来自这个复选框。

这个设置为什么会出现在正式网站上

常见的经过是：预发布网站被正确地隐藏了起来，随后上线时复制了它的数据库。迁移插件、主机商的“推送到正式环境”工具，以及手动导出和导入，都会搬动选项表，blog_public 也随之一起迁移。唯一可见的变化，只是网页 head 中一行没有访问者会去读的代码。

sequenceDiagram
    participant S as 预发布网站
    participant P as 正式网站
    participant G as Googlebot
    S->>S: 已勾选复选框，blog_public 为 0
    S->>P: 上线时复制数据库
    P->>P: blog_public 仍为 0
    G->>P: 重新抓取首页和文章
    P-->>G: 返回带 noindex, nofollow 的 HTML
    G->>G: 将每个重新抓取的网页从搜索结果中移除

在 2026 年 5 月至 10 月间 SEOReport 审计的 45 个外部网站中，没有一个网站的首页带有 noindex 指令，无论是在 HTML 中还是在 X-Robots-Tag 标头中。这么小的样本无法说明这种错误有多常见，只能说明它不是常态。一旦发生，它会同时作用于所有公开网页，所以每一份上线检查清单都应包含这一项。

如何在仪表盘之外检查这个设置

真正起作用的，是未登录的访问者在经过页面缓存或 CDN 之后收到的 HTML，因为 Google 抓取的就是它。请把 example.com 换成您的域名，并对首页以及 2 到 3 篇文章重复运行前 2 条命令。-L 选项会跟随重定向，因此从裸域名跳转到 www 或跳转到 HTTPS 都不会挡住最终的网页。

# 1. The robots meta tag in the served HTML
curl -sL https://example.com/ | grep -io "<meta[^>]*name=.robots[^>]*>"

# 2. Any noindex sent as an HTTP header instead
curl -sL -o /dev/null -D - https://example.com/ | grep -i "x-robots-tag"

# 3. What robots.txt actually serves
curl -sL https://example.com/robots.txt

# 4. Whether the core sitemap is switched off
curl -sL -o /dev/null -w "%{http_code}\n" https://example.com/wp-sitemap.xml

如果第一条命令的结果中有 noindex，同时第四条命令返回 404，就与这个设置的表现一致。SEO 插件可能用自己的站点地图替换核心站点地图，所以单凭 404 什么也证明不了。如果第二条命令的结果中有 noindex，那是来自服务器、主机商、CDN 或插件的标头规则，复选框无法移除它。

在 WordPress 后台内部，最快的确认方式是看仪表盘上有没有“自动建议搜索引擎不抓取”这一行。如果可以使用命令行，wp option get blog_public 在勾选时输出 0，未勾选时输出 1。

flowchart TD
    A["线上 HTML 中有 robots meta noindex 吗？"] -->|是| B["blog_public 是 0 吗？"]
    A -->|否| C["X-Robots-Tag 标头中有 noindex 吗？"]
    C -->|是| D["移除服务器、主机商或 CDN 的规则"]
    C -->|否| E["线上网页可以编入索引：请求重新抓取"]
    B -->|是| F["取消勾选复选框并清除缓存"]
    B -->|否| G["插件或主题添加了 noindex：检查其设置"]
    F --> H["首页和文章的线上 HTML 都已干净？"]
    G --> H
    H -->|否| I["缓存仍在提供旧 HTML：清除缓存"]
    I --> H
    H -->|是| J["网址检查实际测试，然后验证修正情况"]

这个设置在 Search Console 中如何体现

随着 Google 重新抓取网页并发现该标签，这些网页会移到“网页索引编制”报告中“未编入索引”的一侧，原因显示为：此网址带有“noindex”标记（英文界面为 URL marked ‘noindex’）。Google 的“网页索引编制”报告文档（2026 年 10 月核对）说明，该网页未被编入索引，是因为 Google 在尝试将其编入索引时发现了 noindex 指令。这个过程是渐进的，因为 Google 重新抓取各个网页的时间不同。我们关于此网址带有“noindex”标记这一状态的指南介绍了导致这一状态的其他原因，以及它何时是有意为之。

网址检查可以同时显示两方面。默认视图描述的是 Google 上次编入索引的版本，其中的“是否允许编入索引？”字段说明该版本是否禁止编入索引。“测试实际网址”则会抓取网页当前的状态。修复之后，请以实际测试为准；已编入索引的视图只有在 Google 重新抓取后才会改变。

从第 1 天起就勾选着这个复选框上线的网站，可能在报告中几乎看不到几个网址。因为核心站点地图已关闭，而 nofollow 又要求 Google 不要跟踪每个网页上的链接，Google 几乎没有可以用来发现网页的线索。

会改变情况的插件和服务器规则

SEO 插件会自行管理 robots 标签。我们在 2026 年 10 月阅读了 2 款广泛使用的插件 Yoast SEO 和 Rank Math 的源代码：只要复选框处于勾选状态，两者都仍会强制输出 noindex，并在后台显示警告。无论启用哪一款，修复方法都仍然是取消勾选复选框。

即使复选框已取消勾选，这些插件仍可能通过它们针对单篇文章、文章类型或归档页的设置保留 noindex。任何其他插件或主题也可以通过同一个 WordPress robots 过滤器添加指令，例如上线后忘记停用的“即将上线”或维护模式插件。如果 blog_public 已经是 1，线上 HTML 却仍显示 noindex，就应该去检查这些设置。

还有 2 种遗留问题也来自预发布环境。实际存在的、包含 Disallow: / 的 robots.txt 文件会覆盖 WordPress 生成的那一个，所以上线后请重新查看线上的文件，尤其是如果您在网站隐藏期间通过插件保存过 robots.txt 规则。添加 X-Robots-Tag: noindex 的标头规则与 meta 标签作用相同，却永远不会出现在网页源代码中，这就是站外检查要同时读取两者的原因。我们的 robots.txt 与抓取访问指南介绍了如何逐行解读这个文件。

如何恢复，需要多长时间

1. 取消勾选复选框并保存，或运行 wp option update blog_public 1。
2. 清除每一层缓存：页面缓存插件、主机商的缓存和 CDN。被缓存的网页在过期之前会一直提供旧的 head。
3. 在首页和几篇文章上重新运行站外检查，并确认 /wp-sitemap.xml 或插件生成的站点地图现在返回 200。
4. 在 Search Console 的“站点地图”报告中提交站点地图，让 Google 拿到一份完整的待重新抓取网址列表。我们的 XML 站点地图指南介绍了一个干净的站点地图应包含哪些内容。
5. 在网址检查中对首页和最重要的网页运行实际测试，然后对这一小部分网页使用“请求编入索引”。该工具对单个网址的请求有配额限制，而且 Google 的文档说明，对同一网址重复提交请求并不会加快抓取速度。
6. 在“网页索引编制”报告中打开此网址带有“noindex”标记这一原因，然后选择“验证修正情况”。

然后就是等待。Google 关于重新抓取的文档（2026 年 10 月核对）说明，抓取可能需要几天到几周不等；其 noindex 文档也指出，某些网页可能要几个月后才会被重新访问。“网页索引编制”报告文档说明，验证通常最多需要大约 2 周，某些情况下会长得多。是否编入索引最终仍由 Google 决定：网址检查文档明确表示，提交请求并不能保证网页会出现在索引中。

如何避免下次上线时再次发生

用密码保护预发布网站，在服务器或主机层面使用 HTTP 身份验证，而不是依赖这个复选框。登录要求能挡住所有访问者和爬虫。在受密码保护的副本上不要勾选这个复选框：Google 无法读取需要登录的网页，所以在那里勾选毫无作用，而这样一来，复制到正式环境的数据库也就不会带着 noindex 过去。然后在上线检查清单中加上一行：上线后，以及每次数据库迁移或恢复后，都对正式域名运行一次站外检查。

SEOReport 完整诊断会读取首页的 robots meta 标签和 X-Robots-Tag 标头，以及站点地图所列网页上的 robots meta 标签，并逐一指出哪些网页在告诉搜索引擎不要将其编入索引。首页上的 noindex（这个设置必然会产生）会被报告为严重问题，所以即使该设置同时关闭了站点地图，也能被发现。对于经常易手或更换主机的网站，可以通过 REST API 设置每周监控，它会定期重新审计网站，并在出现新的严重问题时发邮件通知您。网站隐藏自身网页这一更普遍的现象，可参阅我们的可索引性冲突数据和网页可索引性指南。

常见问题

它会屏蔽 AI 爬虫吗？

不会。它不会添加任何 robots.txt 规则，而 AI 爬虫的访问权限通常正是在 robots.txt 中控制的。不过它确实会影响 Google 自己的 AI 功能：Google 的 AI 功能文档（2026 年 10 月核对）说明，网页必须已编入索引，才能作为辅助链接显示在 AI 概览或 AI 模式中，所以设置了 noindex 的网页也会从中消失。请把这个复选框看作一项搜索索引请求，而不是 AI 策略。我们的 robots.txt 中 AI 爬虫的决策表介绍了如何有意识地进行设置。

我几周前就取消了勾选，为什么网页仍显示此网址带有“noindex”标记？

Search Console 报告的是 Google 上次抓取每个网页时看到的情况。请先运行“测试实际网址”：如果实际测试仍发现 noindex，说明是缓存、插件或标头规则在输出它。如果实际测试结果干净，说明该网页正在等待重新抓取，下一步正确的做法是点击“验证修正情况”并提交站点地图。

在改版正式网站期间勾选这个复选框安全吗？

不安全。这个设置作用于正式网站，改版期间 Google 重新抓取的每个网页都会从搜索结果中消失。请改为在受密码保护的预发布副本上进行改版。