robots.txt para rastreadores de IA: busca, treinamento e acesso de usuários

Os rastreadores de IA atendem a 3 finalidades diferentes, e o robots.txt controla cada uma por um token próprio: rastrear para um recurso de busca ou de respostas com IA, coletar páginas para treinar modelos e buscar uma página porque uma pessoa fez uma pergunta. A maioria dos sites quer a primeira, toma uma decisão consciente sobre a segunda e só consegue controlar em parte a terceira. Uma única regra para "bloquear IA" mistura tudo, e a vítima mais comum é a visibilidade na busca com IA que o dono queria manter.

A tabela segue a documentação dos próprios operadores, consultada em outubro de 2026 e acompanhada rastreador por rastreador na nossa referência de rastreadores de IA.

Qual token do robots.txt controla qual finalidade de IA?

Cada token é independente dos outros. A OpenAI afirma que cada uma das suas configurações funciona sozinha, então um site pode bloquear o GPTBot e continuar permitindo o OAI-SearchBot, o rastreador por trás da busca do ChatGPT. Quando um site permite os dois, a OpenAI diz que pode usar 1 rastreamento para os dois usos.

3 linhas pedem uma leitura mais atenta.

Alguns rastreadores de treinamento fazem mais do que treinar. A Meta diz que o Meta-ExternalAgent rastreia para usos como treinar modelos de base ou melhorar produtos indexando conteúdo diretamente. A Amazon diz que o Amazonbot melhora os produtos e serviços dela e pode ser usado para treinar os seus modelos de IA. Os agentes de busca delas, Meta-WebIndexer e Amzn-SearchBot, têm tokens próprios, e a Amazon diz que o Amzn-SearchBot não rastreia conteúdo para treinamento de IA generativa.

2 tokens nunca rastreiam. O Google afirma que o Google-Extended não tem user agent próprio: os rastreadores já existentes do Google buscam a página, e o token decide se o conteúdo pode treinar futuros modelos Gemini e embasar respostas no app Gemini e no Grounding with Google Search da Vertex AI. Você nunca vai ver o Google-Extended num log de servidor. A Apple diz o mesmo do Applebot-Extended: o Applebot busca, e o token só decide como a Apple pode usar o que foi coletado.

Agentes acionados por usuários ficam em parte fora do robots.txt. A OpenAI diz que as regras do robots.txt podem não se aplicar ao ChatGPT-User, porque foi uma pessoa que iniciou a solicitação. A Perplexity diz que o Perplexity-User controla quais sites as solicitações de usuários podem acessar e também que esse agente em geral ignora as regras do robots.txt. A Meta e a Amazon dão avisos parecidos sobre o Meta-ExternalFetcher e o Amzn-User. A Anthropic é a exceção: a afirmação dela de que os seus bots respeitam o robots.txt inclui o Claude-User.

Qual política combina com o seu site?

Responda às perguntas na ordem; cada caminho termina em um dos padrões abaixo.

flowchart TD
    A["Você quer aparecer nas respostas da busca com IA?"] -->|sim| B["Deixe os tokens de busca com IA nas suas regras normais"]
    A -->|não| C["Bloqueie os tokens de busca com IA com Disallow"]
    B --> D["Você aceita o treinamento de modelos com as suas páginas públicas?"]
    C --> D
    D -->|sim| E["Nenhum grupo de treinamento é necessário"]
    D -->|não| F["Bloqueie GPTBot, ClaudeBot, CCBot, meta-externalagent e Amazonbot"]
    F --> G["Recusar também o treinamento do Google e da Apple?"]
    G -->|sim| H["Adicione Google-Extended e Applebot-Extended"]
    G -->|não| I["Deixe esses 2 tokens de fora"]
    E --> J["Os acessos acionados por usuários precisam ser recusados?"]
    H --> J
    I --> J
    J -->|sim| K["Só o robots.txt não resolve: aplique o bloqueio no servidor ou na CDN"]
    J -->|não| L["Publique o arquivo e verifique-o no ar"]

Por que um grupo nomeado pode reabrir caminhos que as regras curinga fecharam

Conheça esta regra de correspondência antes de copiar qualquer padrão. A documentação do Google sobre robots.txt e a RFC 9309, o padrão do robots.txt, concordam: um rastreador obedece apenas ao grupo mais específico que o menciona e ignora todos os outros grupos. Um grupo nomeado não herda as regras de User-agent: *.

User-agent: *
Disallow: /cart/
Disallow: /account/

User-agent: OAI-SearchBot
Allow: /

Com este arquivo, o OAI-SearchBot pode rastrear /cart/ e /account/, porque o grupo dele é o único que ele lê. O grupo Allow bem-intencionado removeu as regras de caminhos privados justamente para o rastreador que ele menciona. Apague o grupo nomeado, para que o rastreador volte a seguir o *, ou repita os caminhos privados dentro dele.

Outros fatos de correspondência que mudam arquivos reais:

• Várias linhas User-agent podem compartilhar um único conjunto de regras, o que mantém legível uma lista longa de tokens de IA.
• Se 2 grupos mencionam o mesmo rastreador, as regras deles se combinam. Um grupo nomeado nunca se combina com o *.
• Os nomes de token correspondem sem diferenciar maiúsculas de minúsculas; os caminhos diferenciam, então Disallow: /Cart/ não cobre /cart/.
• Vence o caminho correspondente mais longo. Num empate entre Allow e Disallow, o Google usa a regra menos restritiva.
• Um rastreador sem grupo nomeado e sem grupo * não tem regra nenhuma.
• Cada host serve o próprio arquivo: www.example.com e blog.example.com precisam de regras separadas, e a Anthropic pede que os donos adicionem a recusa em cada subdomínio que querem excluir.
• A Apple diz que o Applebot segue o grupo do Googlebot quando o robots.txt menciona o Googlebot, mas não o Applebot. A Apple não diz se o Applebot-Extended herda regras desse jeito, então mencione-o explicitamente.

robots.txt pronto para copiar nas 3 políticas mais comuns

Cada padrão mantém um grupo * comum para os caminhos privados. Troque /cart/ e /account/ pelos seus, e o endereço do sitemap pelo seu.

Permitir a busca com IA e recusar o treinamento

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Os rastreadores de busca com IA não têm grupo nomeado, então seguem o * e ficam fora dos caminhos privados sem nenhuma linha extra. Essa é a forma mais segura de permiti-los. O CCBot está na lista porque o Common Crawl fornece o seu arquivo a pesquisadores, empresas e pessoas para pesquisa e análise, o que inclui treinamento; tire-o se quiser as suas páginas nesse arquivo. Se você quer os usos de produto da Meta ou da Amazon, remova meta-externalagent ou Amazonbot, pelos motivos explicados depois da tabela. A Meta escreve os tokens dela em minúsculas; copie essa grafia.

Permitir todos os rastreadores de IA

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Nenhuma linha específica para IA é necessária: todo rastreador sem grupo nomeado segue o *. Um site sem robots.txt também fica aberto, já que a ausência do arquivo significa nenhuma regra, mas ele não declara política nenhuma nem indica um sitemap. Em 45 sites externos auditados pelo SEOReport entre maio e outubro de 2026, 3 (7%) não tinham robots.txt.

Bloquear rastreadores de IA e manter a busca convencional

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Há 3 limites. ChatGPT-User, Perplexity-User, meta-externalfetcher e Amzn-User podem não seguir as linhas deles. Qualquer agente que você não mencionar, inclusive os lançados depois que você publicar o arquivo, segue o *. E as AI Overviews e o AI Mode do Google são governados pelo Googlebot e pelos controles de snippet da Pesquisa, não por alguma linha deste arquivo; as perguntas frequentes abaixo explicam esse caso.

Quando uma regra do robots.txt não basta

A RFC 9309 diz com todas as letras que as regras do robots.txt não são uma forma de autorização de acesso. Um rastreador que respeita o arquivo fica de fora; qualquer outro pode solicitar a página, e qualquer cliente pode copiar o nome de um rastreador. Se uma recusa precisa valer, aplique-a onde as solicitações chegam: no servidor, na CDN ou no firewall. A maioria dos operadores publica listas de endereços IP para essa verificação. Nossa referência indica o método de verificação de cada operador e aponta onde não existe nenhum, como no caso do Meta-ExternalAgent.

A mesma camada causa a falha oposta. Uma regra de firewall ou de proteção contra bots que desafia o OAI-SearchBot anula um Allow no robots.txt, e a OpenAI recomenda permitir solicitações dos endereços publicados por ela para sites que querem aparecer na busca do ChatGPT. Nosso guia para verificar se a proteção contra bots bloqueia o tráfego de busca com IA que você quer mostra essa comparação passo a passo.

Como confirmar que o arquivo no ar diz o que você queria

1. Busque o arquivo como um rastreador busca. Rode curl -s https://www.example.com/robots.txt e leia o conteúdo no ar, não a cópia do seu repositório. Uma plataforma de hospedagem ou CDN que gerencia o robots.txt pode servir outra coisa. Confira também o código de status: o Google trata uma resposta 4xx que não seja 429 como se não existisse robots.txt. Depois de um 5xx, o Google para de rastrear o site nas primeiras 12 horas e então usa a última cópia válida por até 30 dias.
2. Repita em cada host que serve páginas: www, o domínio raiz e cada subdomínio.
3. Leia cada grupo nomeado isoladamente. Para cada token listado, pergunte o que aquele rastreador poderia buscar se esse grupo fosse o único do arquivo. Caminhos privados que faltam num grupo nomeado ficam abertos para aquele rastreador.
4. Dê tempo antes de julgar. A OpenAI diz que uma mudança leva cerca de 24 horas para chegar aos sistemas dela; a Perplexity e a Meta falam em até 24 horas. Em geral, o Google mantém o robots.txt em cache por até 24 horas. A Amazon fala em cerca de 24 horas e também diz que os agentes dela podem usar uma cópia em cache dos últimos 30 dias.
5. Verifique os logs pelo token e depois pelo endereço. Procure pelo token, como GPTBot, em vez da string completa de user agent, e confirme o endereço de origem na lista publicada pelo operador.

O robots.txt é um arquivo do site que fica fora de todas as páginas, então uma verificação que lê uma página por vez não o enxerga; o que um agente de IA realmente vê quando verifica a sua página trata dessa lacuna. Um diagnóstico completo do SEOReport lê o seu robots.txt como os rastreadores de IA leem e diz se os rastreadores de busca com IA conseguem chegar até você, separadamente de qualquer recusa de treinamento que você tenha escolhido. Ele lê as regras para GPTBot, ClaudeBot, CCBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot e Claude-User pelo nome e relata proteções contra bots ou desafios que barrariam visitantes automatizados. Para ver como os sites auditados de fato escreveram essas regras, veja os nossos dados de auditoria de robots.txt para rastreadores de IA, e, para o robots.txt além dos agentes de IA, o guia de robots.txt e acesso de rastreamento.

Perguntas frequentes

Bloquear o GPTBot tira o meu site da busca do ChatGPT?

Não. A OpenAI afirma que GPTBot e OAI-SearchBot são configurações independentes. O GPTBot rege o treinamento; o OAI-SearchBot decide se as suas páginas podem aparecer nas respostas da busca do ChatGPT. Bloqueie só o GPTBot e a busca do ChatGPT continua com o acesso de que precisa.

Bloquear o Google-Extended deixa as minhas páginas fora das AI Overviews?

Não. A documentação do Google sobre recursos de IA e o seu site, consultada em outubro de 2026, indica as regras do robots.txt para o Googlebot como o controle de acesso e lista nosnippet, data-nosnippet, max-snippet e noindex como as formas de limitar o que aparece. Uma página precisa estar indexada e qualificada para snippet para ser um link de apoio nas AI Overviews ou no AI Mode. O Google-Extended rege o treinamento e o embasamento do Gemini, não os recursos da Pesquisa.

Recusar o treinamento remove conteúdo que já foi coletado?

As páginas dos operadores que acompanhamos descrevem o que uma regra sinaliza a partir do momento em que é lida. A Anthropic, por exemplo, diz que restringir o ClaudeBot sinaliza que os materiais futuros do site devem ser excluídos do treinamento. Nenhuma delas descreve a remoção, via robots.txt, de conteúdo coletado antes. O Common Crawl mantém à parte um Opt-Out Ledger com as solicitações legais de exclusão que recebeu.

Preciso de uma regra para cada rastreador de IA?

Não. Mencione só os agentes que você quer tratar de forma diferente do *. Todo rastreador não mencionado segue o grupo *. Uma lista longa de grupos nomeados só é mais segura quando cada grupo traz os caminhos privados de que precisa.