robots.txt et robots d'IA : recherche, entraînement, requêtes utilisateur

Les robots d'exploration des IA servent 3 usages différents, et robots.txt contrôle chacun d'eux par son propre token : l'exploration pour une fonction de recherche ou de réponse IA, la collecte de pages pour l'entraînement des modèles, et la récupération d'une page parce qu'une personne a posé une question. La plupart des sites veulent le premier, font un choix délibéré pour le deuxième et ne peuvent contrôler qu'en partie le troisième. Une règle unique « bloquer l'IA » mélange les trois, et la première victime est généralement la visibilité dans la recherche IA que le propriétaire voulait conserver.

Le tableau suit la documentation des opérateurs eux-mêmes, consultée en octobre 2026 et suivie robot par robot dans notre référentiel des robots d'IA.

Quel token robots.txt contrôle quel usage de l'IA ?

Chaque token est indépendant des autres. OpenAI précise que chacun de ses réglages fonctionne isolément : un site peut donc interdire GPTBot tout en autorisant OAI-SearchBot, le robot derrière ChatGPT search. Lorsqu'un site autorise les deux, OpenAI indique qu'il peut utiliser 1 seule exploration pour les deux usages.

3 lignes méritent une lecture plus attentive.

Certains robots d'entraînement ne font pas que de l'entraînement. Meta indique que Meta-ExternalAgent explore pour des usages comme l'entraînement de modèles de fondation ou l'amélioration de produits par l'indexation directe de contenus. Amazon indique qu'Amazonbot améliore ses produits et services et peut servir à entraîner ses modèles d'IA. Leurs agents de recherche, Meta-WebIndexer et Amzn-SearchBot, ont leurs propres tokens, et Amazon précise qu'Amzn-SearchBot n'explore pas de contenu pour l'entraînement d'IA générative.

2 tokens n'explorent jamais. Google indique que Google-Extended n'a pas de user-agent propre : ce sont les robots existants de Google qui récupèrent la page, et le token décide si le contenu peut entraîner les futurs modèles Gemini et ancrer les réponses dans les applications Gemini et dans l'ancrage avec la recherche Google sur Vertex AI. Vous ne verrez jamais Google-Extended dans un journal serveur. Apple dit la même chose d'Applebot-Extended : Applebot récupère, et le token décide seulement de l'usage qu'Apple peut faire de ce qui a été collecté.

Les agents déclenchés par un utilisateur échappent en partie à robots.txt. OpenAI indique que les règles de robots.txt peuvent ne pas s'appliquer à ChatGPT-User, car c'est une personne qui a lancé la requête. Perplexity indique que Perplexity-User détermine les sites auxquels les requêtes des utilisateurs peuvent accéder, mais aussi que ce récupérateur ignore généralement les règles de robots.txt. Meta et Amazon font des mises en garde similaires pour Meta-ExternalFetcher et Amzn-User. Anthropic fait exception : sa déclaration selon laquelle ses robots respectent robots.txt couvre Claude-User.

Quelle politique convient à votre site ?

Répondez aux questions dans l'ordre ; chaque chemin aboutit à l'un des modèles ci-dessous.

flowchart TD
    A["Voulez-vous apparaître dans les réponses de la recherche IA ?"] -->|oui| B["Laisser les tokens de recherche IA sous vos règles habituelles"]
    A -->|non| C["Interdire les tokens de recherche IA"]
    B --> D["Acceptez-vous l'entraînement de modèles sur vos pages publiques ?"]
    C --> D
    D -->|oui| E["Aucun groupe d'entraînement nécessaire"]
    D -->|non| F["Interdire GPTBot, ClaudeBot, CCBot, meta-externalagent et Amazonbot"]
    F --> G["Refuser aussi l'entraînement de Google et d'Apple ?"]
    G -->|oui| H["Ajouter Google-Extended et Applebot-Extended"]
    G -->|non| I["Ne pas inclure ces 2 tokens"]
    E --> J["Faut-il refuser les récupérations déclenchées par un utilisateur ?"]
    H --> J
    I --> J
    J -->|oui| K["robots.txt seul n'y suffit pas : bloquer au niveau du serveur ou du CDN"]
    J -->|non| L["Publier le fichier et le vérifier en ligne"]

Pourquoi un groupe nommé peut rouvrir des chemins fermés par vos règles génériques

Retenez cette règle de correspondance avant de copier le moindre modèle. La documentation de Google sur robots.txt et la RFC 9309, la norme robots.txt, concordent : un robot n'obéit qu'au groupe le plus spécifique qui le nomme et ignore tous les autres. Un groupe nommé n'hérite pas des règles de User-agent: *.

User-agent: *
Disallow: /cart/
Disallow: /account/

User-agent: OAI-SearchBot
Allow: /

Avec ce fichier, OAI-SearchBot peut explorer /cart/ et /account/, car son propre groupe est le seul qu'il lit. Le groupe Allow, pourtant bien intentionné, a supprimé les règles sur les chemins privés pour le seul robot qu'il nomme. Supprimez donc le groupe nommé, pour que le robot se rabatte sur *, ou répétez les chemins privés à l'intérieur.

Autres règles de correspondance qui changent les fichiers réels :

• Plusieurs lignes User-agent peuvent partager un même ensemble de règles, ce qui garde lisible une longue liste de tokens d'IA.
• Si 2 groupes nomment le même robot, leurs règles se combinent. Un groupe nommé n'est jamais combiné avec *.
• Les noms de tokens ne tiennent pas compte de la casse ; les chemins, si : Disallow: /Cart/ ne couvre pas /cart/.
• Le chemin correspondant le plus long l'emporte. En cas d'égalité entre Allow et Disallow, Google applique la règle la moins restrictive.
• Un robot sans groupe nommé et sans groupe * n'a aucune règle.
• Chaque hôte sert son propre fichier : www.example.com et blog.example.com nécessitent des règles distinctes, et Anthropic demande aux propriétaires d'ajouter le refus sur chaque sous-domaine à exclure.
• Apple indique qu'Applebot suit le groupe Googlebot lorsque robots.txt nomme Googlebot mais pas Applebot. Apple ne précise pas si Applebot-Extended hérite des règles de la même façon : nommez-le donc explicitement.

robots.txt prêt à copier pour les 3 politiques courantes

Chaque modèle conserve un groupe * classique pour les chemins privés. Remplacez /cart/ et /account/ par les vôtres, et l'adresse du sitemap par la vôtre.

Autoriser la recherche IA, refuser l'entraînement

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Les robots de recherche IA n'ont pas de groupe nommé : ils suivent donc * et restent hors des chemins privés sans aucune ligne supplémentaire. C'est la façon la plus sûre de les autoriser. CCBot figure dans la liste parce que Common Crawl met son archive à disposition des chercheurs, des entreprises et des particuliers à des fins de recherche et d'analyse, ce qui inclut l'entraînement ; retirez-le si vous voulez que vos pages figurent dans cette archive. Si vous voulez bénéficier des usages produit de Meta ou d'Amazon, retirez meta-externalagent ou Amazonbot, pour les raisons données après le tableau. Meta écrit ses tokens en minuscules ; reprenez cette orthographe.

Autoriser tous les robots d'IA

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Aucune ligne propre à l'IA n'est nécessaire : tout robot sans groupe nommé suit *. Un site sans aucun robots.txt est également ouvert, puisqu'un fichier absent signifie aucune règle, mais il n'exprime aucune politique et n'indique aucun sitemap. Sur 45 sites externes audités par SEOReport entre mai et octobre 2026, 3 (7 %) n'avaient pas de robots.txt.

Bloquer les robots d'IA, garder la recherche classique

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

3 limites s'appliquent. ChatGPT-User, Perplexity-User, meta-externalfetcher et Amzn-User peuvent ne pas suivre leurs lignes. Tout agent que vous ne nommez pas, y compris ceux apparus après la publication, suit *. Et les Aperçus IA et le Mode IA de Google relèvent de Googlebot et des contrôles d'extraits de la recherche, pas d'une ligne de ce fichier ; les questions fréquentes ci-dessous expliquent ce cas.

Quand une règle robots.txt ne suffit pas

La RFC 9309 l'indique clairement : les règles de robots.txt ne constituent pas une forme d'autorisation d'accès. Un robot qui respecte le fichier reste à l'écart ; n'importe quoi d'autre peut demander la page, et n'importe quel client peut copier le nom d'un robot. Si un refus doit tenir, appliquez-le là où arrivent les requêtes : le serveur, le CDN ou le pare-feu. La plupart des opérateurs publient des listes d'adresses IP pour cette vérification. Notre référentiel indique la méthode de vérification de chaque opérateur, et signale les cas où il n'en existe pas, comme pour Meta-ExternalAgent.

Ce même niveau provoque l'échec inverse. Une règle de pare-feu ou de protection anti-bots qui soumet OAI-SearchBot à un challenge annule un Allow dans robots.txt, et OpenAI recommande aux sites qui veulent apparaître dans ChatGPT search d'autoriser les requêtes provenant de ses adresses publiées. Notre guide pour vérifier si la protection anti-bots bloque le trafic de recherche IA que vous voulez détaille cette comparaison.

Comment confirmer que le fichier en ligne dit bien ce que vous vouliez

1. Récupérez le fichier comme le fait un robot. Lancez curl -s https://www.example.com/robots.txt et lisez le contenu en ligne, pas la copie de votre dépôt. Une plateforme d'hébergement ou un CDN qui gère robots.txt peut servir autre chose. Vérifiez aussi le code de statut : Google traite une réponse 4xx autre que 429 comme si robots.txt n'existait pas. Après une réponse 5xx, Google cesse d'explorer le site pendant les 12 premières heures, puis utilise sa dernière copie valide pendant 30 jours au maximum.
2. Répétez l'opération sur chaque hôte qui sert des pages : www, le domaine racine et chaque sous-domaine.
3. Lisez chaque groupe nommé isolément. Pour chaque token listé, demandez-vous ce que ce robot peut récupérer si ce groupe était le seul du fichier. Les chemins privés absents d'un groupe nommé sont ouverts à ce robot.
4. Laissez du temps avant de juger. OpenAI indique qu'une modification met environ 24 heures à atteindre ses systèmes ; Perplexity et Meta parlent de 24 heures au maximum. Google met généralement robots.txt en cache jusqu'à 24 heures. Amazon annonce environ 24 heures, et précise que ses agents peuvent utiliser une copie en cache datant des 30 derniers jours.
5. Vérifiez vos journaux par token, puis par adresse. Recherchez le token, par exemple GPTBot, plutôt que la chaîne user-agent complète, et confirmez l'adresse d'origine avec la liste publiée par l'opérateur.

robots.txt est un fichier à l'échelle du site, extérieur à chaque page : une vérification qui lit une page à la fois ne le voit pas ; ce que voit réellement un agent IA quand il vérifie votre page traite cet angle mort. Un diagnostic SEOReport complet lit votre robots.txt comme le font les robots d'IA et vous indique si les robots de recherche IA peuvent vous atteindre, indépendamment de tout refus d'entraînement que vous avez choisi. Il lit nommément les règles pour GPTBot, ClaudeBot, CCBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot et Claude-User, et signale les protections anti-bots ou challenges qui arrêteraient les visiteurs automatisés. Pour voir comment les sites audités ont réellement rédigé ces règles, consultez nos données d'audit sur robots.txt et les robots d'IA, et pour robots.txt au-delà des agents d'IA, le guide robots.txt et accès à l'exploration.

Questions fréquentes

Bloquer GPTBot retire-t-il mon site de ChatGPT search ?

Non. OpenAI précise que GPTBot et OAI-SearchBot sont des réglages indépendants. GPTBot régit l'entraînement ; OAI-SearchBot détermine si vos pages peuvent apparaître dans les réponses de ChatGPT search. Interdisez uniquement GPTBot, et ChatGPT search conserve l'accès dont il a besoin.

Bloquer Google-Extended tient-il mes pages à l'écart des Aperçus IA ?

Non. La documentation de Google sur les fonctionnalités d'IA et votre site, consultée en octobre 2026, désigne les règles robots.txt pour Googlebot comme moyen de contrôle de l'accès, et cite nosnippet, data-nosnippet, max-snippet et noindex comme moyens de limiter ce qui apparaît. Une page doit être indexée et éligible à un extrait pour servir de lien de référence dans les Aperçus IA ou le Mode IA. Google-Extended régit l'entraînement et l'ancrage de Gemini, pas les fonctionnalités de la recherche.

Un refus d'entraînement supprime-t-il le contenu déjà collecté ?

Les pages des opérateurs que nous suivons décrivent ce qu'une règle signale à partir du moment où elle est lue. Anthropic, par exemple, indique que restreindre ClaudeBot signale que les futurs contenus du site doivent être exclus de l'entraînement. Aucune ne décrit la suppression, via robots.txt, de contenus collectés auparavant. Common Crawl tient par ailleurs un registre, l'Opt-Out Ledger, des demandes juridiques de retrait qu'il a reçues.

Faut-il une règle pour chaque robot d'IA ?

Non. Ne nommez que les agents que vous voulez traiter différemment de *. Tout robot non nommé suit le groupe *. Une longue liste de groupes nommés n'est plus sûre que si chaque groupe reprend les chemins privés dont il a besoin.