Preparação para Busca por IA: Ser Usável por Assistentes Assim como por Crawlers
Rastreadores de busca como OAI-SearchBot e rastreadores de treinamento como GPTBot leem robots.txt separadamente. Como definir uma política explícita de rastreador e um llms.txt útil.
Assistentes respondem perguntas lendo páginas diretamente e citando-as de volta, em vez de retornar uma lista classificada de links. Eles alcançam seu site por meio de rastreadores nomeados, e cada um lê robots.txt de forma independente. OAI-SearchBot, Claude-SearchBot e PerplexityBot buscam páginas para busca do ChatGPT, respostas do Claude e Perplexity, e Claude-User busca uma página quando alguém pergunta. GPTBot, ClaudeBot e CCBot coletam dados de treinamento em vez disso, então bloqueá-los é uma escolha de licenciamento que não retira o site da busca de IA. Um site pode estar totalmente aberto ao Googlebot e fechado a todos os assistentes, geralmente porque uma regra padrão foi copiada de um modelo. A primeira decisão é uma política, e é sua: quais agentes podem ler seu conteúdo, e para quê. Tornar isso explícito em robots.txt supera deixá-lo em padrão, em qualquer direção. Uma permissão explícita diz a um assistente que ele é bem-vindo; uma proibição explícita é um sinal claro em vez de um silêncio ambíguo. O arquivo llms.txt é a segunda camada. É um documento Markdown curto na raiz do seu site nomeando o que o site é e vinculando às páginas que você mais deseja citar. Ele complementa sitemaps e dados estruturados, e não ganha nada por si só: as páginas que ele vincula ainda precisam ser acessíveis, atuais e dignas de citação. Revise ambos do ponto de vista de um assistente: leia seu robots.txt como cada rastreador nomeado faria, então abra llms.txt e confirme que cada link dentro dele ainda resolve. Um arquivo que nomeia páginas que não resolvem mais custa mais credibilidade do que não ter arquivo nenhum.
Nenhum disso precisa ser revisado manualmente. Em um plano pago, a mesma política de rastreamento e os resultados de llms.txt estão disponíveis sob demanda como JSON, através a API de relatório de SEO e o servidor MCP.
O diagnóstico pago do SEOReport revisa isso em todas as páginas do seu próprio site, mostra a evidência por trás de cada descoberta, e classifica as correções por prioridade. Veja planos e preços.
Obtenha o diagnóstico completo do seu site
Um relatório baseado em evidências e um plano de ação priorizado, em um plano com créditos mensais.