Preparación para Búsqueda IA: Ser Utilizable por Asistentes y Rastreadores
GPTBot, ClaudeBot y PerplexityBot leen robots.txt de forma independiente. Cómo establecer una política explícita de rastreador y publicar un llms.txt que valga la pena seguir.
Los asistentes responden preguntas leyendo las páginas directamente y citándolas, en lugar de devolver una lista ordenada de enlaces. Llegan a tu sitio a través de rastreadores nombrados, entre ellos GPTBot, ClaudeBot, PerplexityBot y Google-Extended, y cada uno lee robots.txt de forma independiente. Un sitio puede estar totalmente abierto a Googlebot y cerrado a cada asistente, usualmente porque una regla por defecto se copió de una plantilla. La primera decisión es una política, y es tuya: qué agentes pueden leer tu contenido, y para qué. Hacerlo explícito en robots.txt supera dejarlo a un valor por defecto, en cualquier dirección. Un permiso explícito le dice a un asistente que es bienvenido; una prohibición explícita es una señal clara en lugar de un silencio ambiguo. El archivo llms.txt es la segunda capa. Es un breve documento Markdown en la raíz de tu sitio que nombra lo que es el sitio y enlaza a las páginas que más quieres citar. Complementa los sitemaps y los datos estructurados, y no gana nada por sí solo: las páginas a las que enlaza todavía deben ser accesibles, actuales y dignas de citar. Estas comprobaciones leen tu robots.txt desde la perspectiva de un asistente, luego obtienen llms.txt y siguen cada enlace del mismo origen que haya dentro. Un archivo que nombra páginas que ya no se resuelven cuesta más credibilidad que no tener ningún archivo.
Nada de esto hay que comprobarlo a mano. Cada comprobación de esta página también se ejecuta bajo demanda y devuelve en JSON los mismos resultados de política de rastreo, llms.txt y resolución de referencias, a través de la API de informes SEO y el servidor MCP.
Reglas de rastreadores de IA faltantes en robots.txt
Por qué importa
Las reglas explícitas para rastreadores de IA reducen la ambigüedad y aclaran qué sistemas de búsqueda con IA pueden usar su contenido público.
Cómo lo revisamos
Se escaneó robots.txt en busca de reglas explícitas Allow/Disallow para rastreadores de IA.
Cómo arreglarlo
Establecer una política explícita de robots.txt para los rastreadores de búsqueda AI que pretenda servir, como OAI-SearchBot, y verificar que las reglas de CDN o WAF permitan las mismas solicitudes. El acceso de OAI-SearchBot es necesario para que el contenido de la página sea considerado para resúmenes y fragmentos de búsqueda de ChatGPT, pero el acceso no garantiza la aparición o el posicionamiento.
Rastreadores de IA bloqueados
Por qué importa
Si los rastreadores de IA están bloqueados, es menos probable que su contenido aparezca en respuestas generadas por IA incluso cuando sea la mejor fuente.
Cómo lo revisamos
Se escaneó robots.txt en busca de reglas de prohibición para rastreadores de IA.
Cómo arreglarlo
Elimine las reglas Disallow que bloquean a los rastreadores de búsqueda con IA de acceder a su contenido.
llms.txt faltante
Por qué importa
llms.txt ofrece a los agentes de IA un mapa conciso y controlado por el propietario sobre el propósito del sitio y sus recursos preferidos, reduciendo el trabajo de extraer la estructura de HTML complejo. Facilita el descubrimiento de contexto durante la inferencia; no garantiza posicionamiento ni inclusión en el entrenamiento de modelos.
Cómo lo revisamos
Se revisó la presencia de llms.txt en la ubicación conocida.
Cómo arreglarlo
Publique un archivo Markdown /llms.txt factual en la raíz del sitio con un nombre del sitio en H1, un resumen conciso del propósito y enlaces claramente descritos a los recursos preferidos. Mantenga las páginas enlazadas rastreables y actualizadas; llms.txt complementa, pero no sustituye, los sitemaps, los datos estructurados ni los enlaces internos, y no garantiza posicionamiento ni inclusión en el entrenamiento.
Formato de llms.txt inválido
Por qué importa
Las herramientas de búsqueda con IA son cada vez más selectivas sobre lo que pueden leer y referenciar.
Cómo lo revisamos
llms.txt se validó contra la especificación de formato de llmstxt.org.
Cómo arreglarlo
Corrija los problemas de formato en su archivo llms.txt. Siga la especificación de llmstxt.org.
Enlaces de llms.txt rotos
Cómo lo revisamos
Se solicitaron y verificaron los enlaces del mismo origen en llms.txt.
Cómo arreglarlo
Asegúrese de que todas las URLs referenciadas en llms.txt resuelvan a páginas válidas en su sitio.
Brechas de preparación para IA detectadas
Cómo lo revisamos
El informe combinó la política observada del rastreador de IA, la disponibilidad y validez de llms.txt, y las comprobaciones de enlaces de recurso preferido sin inferir clasificaciones o inclusión de modelos.
Cómo arreglarlo
Aborde por separado las brechas de preparación para IA indicadas: publique una política explícita para rastreadores en robots.txt, ofrezca un resumen /llms.txt controlado por el propietario y mantenga resolubles sus enlaces a recursos preferidos. robots.txt controla el acceso de los rastreadores; llms.txt es una convención emergente de contexto durante la inferencia y no garantiza descubrimiento, citas, posicionamiento ni inclusión en el entrenamiento de modelos.
Ver cómo se clasifica tu sitio
Get a free IA-powered SEO report with actionable findings and priority fixes for your website.
Sin registro obligatorio.