Preparación para la búsqueda con IA: que los asistentes también puedan usar su sitio
Los rastreadores de búsqueda como OAI-SearchBot y los de entrenamiento como GPTBot leen robots.txt por separado. Cómo definir una política de rastreo explícita y un llms.txt útil.
Los asistentes responden preguntas leyendo las páginas directamente y citándolas, en lugar de devolver una lista ordenada de enlaces. Llegan a su sitio a través de rastreadores con nombre propio, y cada uno lee robots.txt por separado. OAI-SearchBot, Claude-SearchBot y PerplexityBot descargan páginas para las búsquedas de ChatGPT y las respuestas de Claude y Perplexity, y Claude-User descarga una página cuando alguien la solicita. GPTBot, ClaudeBot y CCBot, en cambio, recopilan datos de entrenamiento, así que bloquearlos es una decisión de licencia que no saca al sitio de la búsqueda con IA. Un sitio puede estar completamente abierto a Googlebot y cerrado a todos los asistentes, normalmente porque se copió una regla por defecto de una plantilla. La primera decisión es de política, y le corresponde a usted: qué agentes pueden leer su contenido y con qué fin. Dejarlo explícito en robots.txt es mejor que confiar en una regla por defecto, en cualquiera de los dos sentidos. Un permiso explícito le dice a un asistente que es bienvenido; una prohibición explícita es una señal clara en lugar de un silencio ambiguo. El archivo llms.txt es la segunda capa. Es un breve documento en Markdown en la raíz de su sitio que explica qué es el sitio y enlaza las páginas que más le interesa que se citen. Complementa a los sitemaps y a los datos estructurados, y por sí solo no aporta nada: las páginas que enlaza tienen que seguir siendo accesibles, actuales y dignas de cita. Revise ambos desde el punto de vista de un asistente: lea su robots.txt como lo haría cada rastreador con nombre propio, abra luego llms.txt y confirme que todos sus enlaces siguen funcionando. Un archivo que nombra páginas que ya no existen resta más credibilidad que no tener ningún archivo.
Nada de esto tiene que revisarse a mano. Con un plan de pago, los mismos hallazgos de política de rastreo y de llms.txt están disponibles bajo demanda en JSON, a través de la API de informes SEO y el servidor MCP.
El diagnóstico de pago de SEOReport revisa este tema en las páginas de su propio sitio, muestra la evidencia de cada hallazgo y ordena las correcciones por prioridad. Ver planes y precios.
Obtenga el diagnóstico completo de su sitio
Un informe basado en evidencia y un plan de acción priorizado, con un plan de créditos mensuales.