robots.txt para rastreadores de IA: búsqueda, entrenamiento y usuarios

Los rastreadores de IA cumplen 3 funciones distintas, y robots.txt controla cada una con su propio token: rastrear para una función de búsqueda o de respuestas con IA, recopilar páginas para entrenar modelos y descargar una página porque una persona hizo una pregunta. La mayoría de los sitios quieren la primera, toman una decisión deliberada sobre la segunda y solo pueden controlar en parte la tercera. Una única regla de "bloquear la IA" lo mezcla todo, y lo que suele perderse es la visibilidad en la búsqueda con IA que el propietario quería conservar.

La tabla sigue la documentación de los propios operadores, consultada en octubre de 2026 y recogida rastreador por rastreador en nuestra referencia de rastreadores de IA.

¿Qué token de robots.txt controla cada uso de la IA?

Cada token es independiente de los demás. OpenAI indica que cada uno de sus ajustes funciona por separado, así que un sitio puede bloquear GPTBot y seguir permitiendo OAI-SearchBot, el rastreador detrás de la búsqueda de ChatGPT. Cuando un sitio permite ambos, OpenAI indica que puede usar 1 solo rastreo para los dos usos.

Hay 3 filas que merecen una lectura más atenta.

Algunos rastreadores de entrenamiento hacen algo más que entrenar. Meta indica que Meta-ExternalAgent rastrea para usos como entrenar modelos fundacionales o mejorar productos indexando contenido directamente. Amazon indica que Amazonbot mejora sus productos y servicios y puede usarse para entrenar sus modelos de IA. Sus agentes de búsqueda, Meta-WebIndexer y Amzn-SearchBot, tienen tokens propios, y Amazon indica que Amzn-SearchBot no rastrea contenido para el entrenamiento de IA generativa.

Hay 2 tokens que nunca rastrean. Google indica que Google-Extended no tiene user agent propio: los rastreadores existentes de Google descargan la página, y el token decide si el contenido puede entrenar futuros modelos de Gemini y fundamentar respuestas en las aplicaciones de Gemini y en Grounding with Google Search de Vertex AI. Nunca verá Google-Extended en un registro del servidor. Apple dice lo mismo de Applebot-Extended: Applebot descarga, y el token solo decide cómo puede usar Apple lo que recopiló.

Los agentes que activa el usuario quedan en parte fuera de robots.txt. OpenAI indica que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, porque la solicitud la inició una persona. Perplexity indica que Perplexity-User controla a qué sitios pueden acceder las solicitudes de los usuarios, y también que ese agente en general ignora las reglas de robots.txt. Meta y Amazon advierten algo parecido sobre Meta-ExternalFetcher y Amzn-User. Anthropic es la excepción: su declaración de que sus bots respetan robots.txt incluye a Claude-User.

¿Qué política encaja con su sitio?

Responda a las preguntas en orden; cada camino termina en uno de los patrones de abajo.

flowchart TD
    A["¿Quiere aparecer en las respuestas de búsqueda con IA?"] -->|sí| B["Deje los tokens de búsqueda con IA bajo sus reglas normales"]
    A -->|no| C["Bloquee los tokens de búsqueda con IA con Disallow"]
    B --> D["¿Acepta que se entrenen modelos con sus páginas públicas?"]
    C --> D
    D -->|sí| E["No necesita grupos de entrenamiento"]
    D -->|no| F["Bloquee GPTBot, ClaudeBot, CCBot, meta-externalagent y Amazonbot"]
    F --> G["¿Excluirse también del entrenamiento de Google y Apple?"]
    G -->|sí| H["Añada Google-Extended y Applebot-Extended"]
    G -->|no| I["No incluya esos 2 tokens"]
    E --> J["¿Hay que rechazar los accesos que activan los usuarios?"]
    H --> J
    I --> J
    J -->|sí| K["robots.txt solo no basta: aplíquelo en el servidor o la CDN"]
    J -->|no| L["Publique el archivo y compruébelo en vivo"]

Por qué un grupo con nombre puede reabrir rutas que cerraron sus reglas comodín

Conozca esta regla de coincidencia antes de copiar cualquier patrón. La documentación de Google sobre robots.txt y el RFC 9309, el estándar de robots.txt, coinciden: un rastreador obedece solo al grupo más específico que lo nombra e ignora todos los demás. Un grupo con nombre no hereda las reglas de User-agent: *.

User-agent: *
Disallow: /cart/
Disallow: /account/

User-agent: OAI-SearchBot
Allow: /

Con este archivo, OAI-SearchBot puede rastrear /cart/ y /account/, porque su propio grupo es el único que lee. El grupo Allow, bienintencionado, eliminó las reglas de rutas privadas para el único rastreador que nombra. Elimine el grupo con nombre, para que el rastreador vuelva a *, o repita dentro de él las rutas privadas.

Otros datos sobre la coincidencia que cambian los archivos reales:

• Varias líneas User-agent pueden compartir un mismo conjunto de reglas, lo que mantiene legible una lista larga de tokens de IA.
• Si 2 grupos nombran al mismo rastreador, sus reglas se combinan. Un grupo con nombre nunca se combina con *.
• Los nombres de token no distinguen entre mayúsculas y minúsculas; las rutas sí, así que Disallow: /Cart/ no cubre /cart/.
• Gana la ruta coincidente más larga. Si hay empate entre Allow y Disallow, Google aplica la regla menos restrictiva.
• Un rastreador sin grupo con nombre y sin grupo * no tiene ninguna regla.
• Cada host sirve su propio archivo: www.example.com y blog.example.com necesitan reglas separadas, y Anthropic pide a los propietarios que añadan la exclusión en cada subdominio que quieran excluir.
• Apple indica que Applebot sigue el grupo de Googlebot cuando robots.txt nombra a Googlebot pero no a Applebot. Apple no dice si Applebot-Extended hereda las reglas de esa manera, así que nómbrelo explícitamente.

robots.txt listo para copiar en las 3 políticas habituales

Cada patrón mantiene un grupo * normal para las rutas privadas. Sustituya /cart/ y /account/ por las suyas, y la dirección del sitemap por la suya.

Permitir la búsqueda con IA y excluir el entrenamiento

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Los rastreadores de búsqueda con IA no tienen grupo con nombre, así que siguen * y se mantienen fuera de las rutas privadas sin ninguna línea adicional. Es la forma más segura de permitirlos. CCBot está en la lista porque Common Crawl ofrece su archivo a investigadores, empresas y particulares para investigación y análisis, lo que incluye el entrenamiento; quítelo si quiere que sus páginas estén en ese archivo. Si quiere los usos de producto de Meta o Amazon, quite meta-externalagent o Amazonbot, por los motivos explicados después de la tabla. Meta escribe sus tokens en minúsculas; copie esa grafía.

Permitir todos los rastreadores de IA

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

No hace falta ninguna línea específica para la IA: todo rastreador sin grupo con nombre sigue *. Un sitio sin robots.txt también está abierto, ya que un archivo inexistente significa que no hay reglas, pero no declara ninguna política ni indica ningún sitemap. En 45 sitios web externos que SEOReport auditó entre mayo y octubre de 2026, 3 (7%) no tenían robots.txt.

Bloquear los rastreadores de IA y mantener la búsqueda convencional

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Se aplican 3 límites. ChatGPT-User, Perplexity-User, meta-externalfetcher y Amzn-User pueden no seguir sus líneas. Cualquier agente que no nombre, incluidos los que aparezcan después de publicar el archivo, sigue *. Y las AI Overviews y el AI Mode de Google se rigen por Googlebot y por los controles de fragmentos de la Búsqueda, no por ninguna línea de este archivo; las preguntas frecuentes de abajo explican ese caso.

Cuándo no basta una regla de robots.txt

El RFC 9309 indica claramente que las reglas de robots.txt no son una forma de autorización de acceso. Un rastreador que respeta el archivo se mantiene fuera; cualquier otro cliente puede solicitar la página, y cualquier cliente puede copiar el nombre de un rastreador. Si un rechazo tiene que cumplirse, aplíquelo donde llegan las solicitudes: el servidor, la CDN o el firewall. La mayoría de los operadores publican listas de direcciones IP para esa comprobación. Nuestra referencia indica el método de verificación de cada operador y señala dónde no existe ninguno, como en el caso de Meta-ExternalAgent.

Esa misma capa provoca el fallo contrario. Una regla de firewall o de protección antibots que pone a prueba a OAI-SearchBot anula un Allow de robots.txt, y OpenAI recomienda permitir las solicitudes desde sus direcciones publicadas a los sitios que quieran aparecer en la búsqueda de ChatGPT. Nuestra guía para comprobar si la protección antibots bloquea el tráfico de búsqueda con IA que usted quiere explica esa comparación paso a paso.

Cómo confirmar que el archivo publicado dice lo que usted quería

1. Descargue el archivo como lo hace un rastreador. Ejecute curl -s https://www.example.com/robots.txt y lea el contenido publicado, no la copia de su repositorio. Una plataforma de alojamiento o una CDN que gestione robots.txt puede servir algo distinto. Compruebe también el código de estado: Google trata una respuesta 4xx distinta de 429 como si no existiera robots.txt. Tras un 5xx, Google deja de rastrear el sitio durante las primeras 12 horas y después usa su última copia válida durante un máximo de 30 días.
2. Repítalo en cada host que sirva páginas: www, el dominio raíz y cada subdominio.
3. Lea cada grupo con nombre por separado. Para cada token que haya incluido, pregúntese qué podría descargar ese rastreador si ese grupo fuera el único del archivo. Las rutas privadas que falten en un grupo con nombre quedan abiertas para ese rastreador.
4. Dé tiempo antes de evaluar. OpenAI indica que un cambio tarda unas 24 horas en llegar a sus sistemas; Perplexity y Meta hablan de hasta 24 horas. Google suele almacenar en caché robots.txt durante un máximo de 24 horas. Amazon habla de unas 24 horas y añade que sus agentes pueden usar una copia en caché de los últimos 30 días.
5. Revise sus registros por token y después por dirección. Busque coincidencias con el token, como GPTBot, en lugar de la cadena completa del user agent, y confirme la dirección de origen con la lista publicada por el operador.

robots.txt es un archivo a nivel de sitio que queda fuera de todas las páginas, así que una revisión que lee las páginas de una en una no lo ve; lo que realmente ve un agente de IA cuando revisa su página trata esa laguna. Un diagnóstico completo de SEOReport lee su robots.txt como lo hacen los rastreadores de IA y le dice si los rastreadores de búsqueda con IA pueden llegar a su sitio, por separado de cualquier exclusión del entrenamiento que usted haya elegido. Lee por su nombre las reglas para GPTBot, ClaudeBot, CCBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot y Claude-User, e informa de la protección antibots o de los desafíos que detendrían a los visitantes automatizados. Para ver cómo escribieron realmente estas reglas los sitios auditados, consulte nuestros datos de auditoría sobre robots.txt y rastreadores de IA, y para robots.txt más allá de los agentes de IA, la guía de robots.txt y acceso de rastreo.

Preguntas frecuentes

¿Bloquear GPTBot elimina mi sitio de la búsqueda de ChatGPT?

No. OpenAI indica que GPTBot y OAI-SearchBot son ajustes independientes. GPTBot rige el entrenamiento; OAI-SearchBot decide si sus páginas pueden mostrarse en las respuestas de búsqueda de ChatGPT. Si bloquea solo GPTBot, la búsqueda de ChatGPT sigue teniendo el acceso que necesita.

¿Bloquear Google-Extended mantiene mis páginas fuera de las AI Overviews?

No. La documentación de Google sobre las funciones de IA y su sitio web, consultada en octubre de 2026, designa las reglas de robots.txt para Googlebot como el control de acceso y enumera nosnippet, data-nosnippet, max-snippet y noindex como las formas de limitar lo que aparece. Una página tiene que estar indexada y ser apta para mostrar un fragmento para aparecer como enlace de apoyo en las AI Overviews o el AI Mode. Google-Extended rige el entrenamiento y la fundamentación de Gemini, no las funciones de la Búsqueda.

¿Excluirse del entrenamiento elimina el contenido que ya se recopiló?

Las páginas de los operadores que seguimos describen lo que una regla señala a partir del momento en que se lee. Anthropic, por ejemplo, indica que restringir ClaudeBot señala que los materiales futuros del sitio deben excluirse del entrenamiento. Ninguna describe la eliminación mediante robots.txt del contenido recopilado antes. Por otra parte, Common Crawl mantiene un registro de exclusiones (Opt-Out Ledger) con las solicitudes legales de exclusión que ha recibido.

¿Necesito una regla para cada rastreador de IA?

No. Nombre solo a los agentes que quiera tratar de forma distinta a *. Todo rastreador sin nombrar sigue el grupo *. Una lista larga de grupos con nombre solo es más segura cuando cada grupo incluye las rutas privadas que necesita.