Verifique se a Proteção de Bot Bloqueia o Tráfego de Busca de IA que Você Deseja
Verifique o provedor pretendido, a resposta ao vivo e a política que o controla. Separe a recuperação de busca, o treinamento de modelo e o acesso direcionado pelo usuário antes de alterar as regras do bot.
Um proprietário de site pode permitir a descoberta de busca e ainda receber um relatório de que uma solicitação foi bloqueada. Resolver essa aparente contradição começa com a solicitação exata: qual provedor estava tentando alcançar qual página, para que propósito, e que resposta ele recebeu?
Uma análise SEOReport pode fornecer evidências de um problema de acesso a investigar. Trate essa observação como o início de um diagnóstico. A política para um provedor específico e o comportamento de uma solicitação específica importam ambos.
Decida qual propósito você pretende permitir
Serviços de IA usam diferentes agentes para tarefas diferentes. A OpenAI documenta OAI-SearchBot para busca, GPTBot para potencial coleta de treinamento de modelo e ChatGPT-User para solicitações direcionadas pelo usuário. Sua documentação do crawler explica que as configurações de busca e treinamento são independentes.
A documentação do crawler da Anthropic também distingue Claude-SearchBot, ClaudeBot e Claude-User. Registre a escolha pretendida para o provedor e o propósito que você se importa. Recusar treinamento não é motivo para rotular a política de busca do site como defeituosa.
Para Google, verifique o Controle de IA Generativa de Busca na propriedade correta do Search Console. É uma escolha de participação em nível de conta além do estado técnico do site. Verifique as configurações herdadas bem como escolhas explícitas.
Compare a política com a resposta entregue
Revise o robots.txt público, as regras de hospedagem ou CDN e a resposta real da página. Eles respondem a perguntas diferentes. O robots.txt declara a política do crawler; uma regra de acesso pode impedir que uma solicitação permitida receba a página.
Inspecione um URL representativo importante e registre o destino final observado, status e conteúdo. Uma página de desafio servida com um status bem-sucedido ainda é uma página de desafio. Por outro lado, um widget CAPTCHA em um formulário de contato funcional não estabelece que a página inteira foi bloqueada.
Nosso guia de acesso de rastreamento ajuda a organizar a revisão da política pretendida e das URLs afetadas.
| Um provedor de busca identificado recebe um desafio | Que a solicitação observada não conseguiu recuperar a página pretendida | Qual regra causou isso e se o comportamento se repete |
| Uma solicitação de teste local recebe um 403 | A solicitação de teste foi recusada | Se um provedor verificado recebe a mesma resposta |
| Uma página contém um widget CAPTCHA | A página inclui um controle de verificação humana | Se o conteúdo solicitado foi realmente retido |
| Robots.txt permite o rastreador pretendido | A política de rastreamento declarada permite acesso | Se as regras de hospedagem entregam a página |
Estas são interpretações ilustrativas. Preserve a observação real ao lado da investigação da regra real.
Verifique a identidade do provedor antes de mudar uma exceção
Um rótulo de user-agent é fácil de copiar. Use a orientação de identificação documentada do provedor e as ferramentas de verificação suportadas pelo seu provedor de hospedagem ao decidir se admite tráfego. Um teste com um rótulo copiado pode revelar como essa solicitação é tratada, mas não pode provar que a solicitação veio do provedor.
Prefira a menor mudança que implemente a política pretendida. Um problema legítimo de acesso de busca não requer remover todas as proteções de um site. Mantenha as fronteiras de autenticação e dados do cliente intactas, depois verifique se o conteúdo público pretendido é entregue ao leitor pretendido.
Reverifique após uma mudança de hospedagem ou política
Salve a observação original, registre a configuração alterada e repita a solicitação relevante. Inclua o corpo da página na verificação para que um código de status alterado não possa ocultar um desafio ou resposta vazia.
Os padrões do provedor e as opções de conta podem mudar. Leia a configuração atual no site real em vez de inferi-la a partir do anúncio de um provedor ou de um arquivo de configuração no repositório. Em uma plataforma gerenciada, confirme também qual camada serve o robots.txt público.
teste de aceitação do agente estende esta revisão de ler uma página para concluir uma tarefa permitida. Acesso de pesquisa, conteúdo utilizável e uma ação bem-sucedida precisam de sua própria observação cada um.
Observe a descoberta após confirmar o acesso
Uma vez que o leitor pretendido possa recuperar a página, leve em conta os atrasos de processamento e relatório do provedor. Revise impressões de IA dedicadas ou citações quando disponíveis, visitas de referência identificáveis e ações de produto úteis separadamente.
O acesso restaurado estabelece um reparo técnico. Uma citação ou visita de cliente posterior estabelece um resultado diferente. Manter ambos os registros dá à equipe uma conta defensável do que melhorou e onde trabalhos adicionais podem ser valiosos.
Obtenha o diagnóstico completo do seu site
Um relatório baseado em evidências e um plano de ação priorizado, em um plano com créditos mensais.