Préparation à la recherche IA : être utilisable par les assistants ainsi que par les crawlers

Les assistants répondent aux questions en lisant directement les pages et en les citant, plutôt qu’en renvoyant une liste de liens classés. Ils accèdent à votre site via des crawlers nommés, parmi lesquels GPTBot, ClaudeBot, PerplexityBot et Google-Extended, et chacun lit le robots.txt indépendamment. Un site peut être largement ouvert à Googlebot et fermé à chaque assistant, généralement parce qu’une règle par défaut a été copiée depuis un modèle. La première décision est une décision de politique, et elle vous appartient : quels agents peuvent lire votre contenu, et pour quoi. Rendre cela explicite dans le robots.txt vaut mieux que de le laisser à une valeur par défaut, dans les deux sens. Une autorisation explicite indique à un assistant qu’il est le bienvenu ; une interdiction explicite est un signal clair plutôt qu’un silence ambigu. Le fichier llms.txt constitue la deuxième couche. Il s’agit d’un court document Markdown à la racine de votre site qui indique ce qu’est le site et qui lie aux pages que vous souhaitez le plus citer. Il complète les sitemaps et les données structurées, et il ne rapporte rien en soi : les pages auxquelles il fait référence doivent toujours être accessibles, à jour et dignes d’être citées. Ces vérifications lisent votre robots.txt du point de vue d’un assistant, puis récupèrent llms.txt et suivent chaque lien de même origine qu’il contient. Un fichier nommant des pages qui ne se résolvent plus coûte plus de crédibilité que d’avoir aucun fichier du tout.

Rien de tout cela ne doit être vérifié à la main. Chaque contrôle de cette page s'exécute aussi à la demande et renvoie en JSON les mêmes résultats de politique de crawl, de llms.txt et de résolution des références, via l'API de rapport SEO et le serveur MCP.