Bot Protection があなたの AI 検索トラフィックをブロックしているか確認する
目的のプロバイダー、ライブレスポンス、およびそれを制御するポリシーを確認する。検索取得、モデル学習、ユーザー指向アクセスを分離し、ボットルールを変更する前に。
サイトオーナーは検索発見を許可しつつ、リクエストがブロックされたというレポートを受け取ることができる。 そのような矛盾を解決するには、正確なリクエストから始める：どのプロバイダーがどのページにアクセスしようとしていたか、目的は何か、そしてどのようなレスポンスを受け取ったか？
SEOReport analysis は調査対象のアクセス問題の証拠を提供できる。 その観察を診断の開始点として扱う。 特定のプロバイダーのポリシーと特定のリクエストの挙動の両方が重要である。
許可したい目的を決定する
AI サービスはタスクごとに異なるエージェントを使用する。 OpenAI は検索用に OAI-SearchBot、潜在的なモデル学習収集用に GPTBot、ユーザー指向リクエスト用に ChatGPT-User を文書化している。 その crawler documentation は検索と学習設定が独立していると説明している。
Anthropic の crawler documentation も同様に Claude-SearchBot、ClaudeBot、Claude-User を区別している。 関心のあるプロバイダーと目的の意図した選択を記録する。 学習を拒否することは、サイトの検索ポリシーが欠陥であるとラベル付けする理由にはならない。
Google の場合、正しい Search Console プロパティで Search generative AI control を確認する。 これはサイトの技術状態に加えてアカウントレベルの参加選択である。 継承設定と明示的な選択の両方を確認する。
ポリシーと提供されたレスポンスを比較する
公開 robots.txt、ホスティングまたは CDN ルール、および実際のページレスポンスをレビューする。 それらは異なる質問に答える。 Robots.txt はクローラーポリシーを宣言する；アクセスルールは許可されたリクエストがページを受け取るのを防ぐことができる。
代表的な重要 URL を検査し、観測された最終先、ステータス、およびコンテンツを記録する。 成功ステータスで提供されるチャレンジページは、まだチャレンジページである。 逆に、機能しているお問い合わせフォームにある CAPTCHA ウィジェットは、ページ全体がブロックされたことを示すものではありません。
私たちの crawl-access guide は、意図されたポリシーと影響を受ける URL のレビューを整理するのに役立ちます。
| 識別された検索プロバイダーはチャレンジを受け取ります | 観測されたリクエストが意図されたページを取得できなかった | どのルールが原因で、行動が繰り返されるか |
| ローカルテストリクエストは 403 を受け取ります | テストリクエストは拒否されました | 検証済みプロバイダーが同じ応答を受け取るか |
| ページに CAPTCHA ウィジェットが含まれています | ページには人間確認コントロールが含まれています | 要求されたコンテンツが実際に保留されたか |
| Robots.txt は意図されたクローラーを許可しています | 宣言されたクローラーポリシーはアクセスを許可しています | ホスティングルールがページを配信するか |
これらは例示的な解釈です。 実際の観察を実際のルール調査の横に保持してください。
例外を変更する前にプロバイダーの身元を確認してください
ユーザーエージェントラベルはコピーしやすいです。 受け入れるかどうかを判断する際に、プロバイダーの文書化された識別ガイダンスとホスティングプロバイダーのサポートする検証ツールを使用してください。 コピーされたラベルでテストすると、そのリクエストがどのように処理されるかが明らかになりますが、リクエストがプロバイダーから来たことを証明することはできません。
意図されたポリシーを実装する最小限の変更を優先してください。 正当な検索アクセスの問題は、サイトからすべての保護を削除する必要はありません。 認証と顧客データの境界を保持し、意図した公開コンテンツが意図した読者に届けられていることを確認する。
ホスティングまたはポリシー変更後に再確認する
元の観測を保存し、設定変更を記録して関連するリクエストを繰り返す。 チェックにページ本文を含め、ステータスコードの変更がチャレンジや空応答を隠すことができないようにする。
プロバイダーのデフォルトとアカウントオプションは変更される可能性がある。 リポジトリ内の構成ファイルやプロバイダーの発表から推測するのではなく、実際のサイトで現在の設定を読む。 管理されたプラットフォームでは、公開robots.txtを提供するレイヤーも確認する。
より広いagent acceptance testは、ページを読むだけでなく許可されたタスクを完了することまでレビューを拡張する。 検索アクセス、利用可能なコンテンツ、成功したアクションはそれぞれ独自の観測が必要である。
アクセスを確認した後に発見を観測する
意図した読者がページを取得できるようになったら、プロバイダーの処理と報告遅延を考慮する。 利用可能な場合は専用AI印象や引用、識別可能な紹介訪問、役立つ製品アクションを別々にレビューする。
アクセスが復元されると技術的修復が確立される。 後の引用または顧客訪問は別の結果を確立する。 両方の記録を保持することで、チームは何が改善されたか、さらなる作業が価値ある場所を防御的に説明できる。