Bot Protection があなたの AI 検索トラフィックをブロックしているか確認する
目的のプロバイダー、ライブレスポンス、およびそれを制御するポリシーを確認する。検索取得、モデル学習、ユーザー指向アクセスを分離し、ボットルールを変更する前に.
サイト所有者は検索発見を許可しつつ、リクエストがブロックされたというレポートを受け取ることができる. その見かけ上の矛盾を解決するには、正確なリクエストから始める：どのプロバイダーがどのページに到達しようとしていたか、目的は何か、そしてどのようなレスポンスを受け取ったか? SEOReport analysis は調査のためのアクセス問題の証拠を提供できる。 その観察を診断の開始点として扱う. 特定のプロバイダーのポリシーと特定のリクエストの挙動の両方が重要である.
許可したい目的を決定する
AI サービスはタスクごとに異なるエージェントを使用する. OpenAI は検索用に OAI-SearchBot、潜在的なモデル学習収集用に GPTBot、ユーザー指向リクエスト用に ChatGPT-User を文書化している。 その crawler documentation は検索と学習設定が独立していることを説明している。 Anthropic の crawler documentation も同様に Claude-SearchBot、ClaudeBot、Claude-User を区別している。 目的のプロバイダーと関心のある目的の意図した選択を記録する. 学習を拒否することは、サイトの検索ポリシーを欠陥とラベル付けする理由にはならない. Google の場合、正しい Search Console プロパティで Search generative AI control を確認する。 これはサイトの技術状態に加えて、アカウントレベルの参加選択である。 継承設定と明示的な選択の両方を確認する.
ポリシーと提供されたレスポンスを比較する
公開 robots.txt、ホスティングまたは CDN ルール、および実際のページレスポンスをレビューする。 それらは異なる質問に答える. Robots.txt はクローラーポリシーを宣言する；アクセスルールは許可されたリクエストがページを受け取るのを妨げることがある. 代表的な重要な URL を検査し、観測された最終先、ステータス、およびコンテンツを記録する。 成功ステータスで提供されたチャレンジページは、まだチャレンジページである. 逆に、機能しているお問い合わせフォームにCAPTCHAウィジェットがある場合、ページ全体がブロックされたことを示すものではありません. 私たちのcrawl-access guideは、意図されたポリシーと影響を受けるURLのレビューを整理するのに役立ちます.
| 識別された検索プロバイダーがチャレンジを受け取ります | 観測されたリクエストが意図されたページを取得できませんでした | どのルールが原因であり、挙動が繰り返されるか |
| ローカルテストリクエストが403を受け取ります | テストリクエストは拒否されました | 検証済みプロバイダーが同じ応答を受け取るか |
| ページにCAPTCHAウィジェットが含まれています | ページには人間確認コントロールが含まれています | 要求されたコンテンツが実際に保留されたか |
| Robots.txtは意図されたクローラーを許可します | 宣言されたクローラーポリシーはアクセスを許可します | ホスティングルールがページを配信するか |
これらは例示的な解釈です. 実際の観察を実際のルール調査の横に保持します.
例外を変更する前にプロバイダーの身元を確認します
ユーザーエージェントラベルはコピーしやすいです. プロバイダーの文書化された識別ガイダンスとホスティングプロバイダーのサポートする検証ツールを使用して、トラフィックを受け入れるかどうかを判断します. コピーされたラベルでテストすると、そのリクエストがどのように処理されるかが明らかになりますが、リクエストがプロバイダーから来たことを証明することはできません. 意図されたポリシーを実装する最小限の変更を優先します. 正当な検索アクセスの問題は、サイトからすべての保護を削除する必要はありません. 認証と顧客データの境界を保持し、意図した公開コンテンツが意図した読者に届けられていることを確認する.
ホスティングまたはポリシー変更後に再確認する
元の観測を保存し、設定変更を記録して関連するリクエストを繰り返す. チェックにページ本文を含め、ステータスコードの変更がチャレンジや空応答を隠すことができないようにする. プロバイダーのデフォルトとアカウントオプションは変更される可能性がある. 実際のサイトで現在の設定を読み取り、プロバイダーの発表やリポジトリ内の設定ファイルから推測しないようにする. 管理されたプラットフォームでは、公開robots.txtを提供するレイヤーも確認する. より広いagent acceptance testは、ページを読むだけでなく許可されたタスクを完了することまでレビューを拡張する. 検索アクセス、利用可能なコンテンツ、成功したアクションはそれぞれ独自の観測が必要である.
アクセスを確認した後に発見を観測する
意図した読者がページを取得できるようになったら、プロバイダーの処理と報告遅延を考慮する. 利用可能な場合は専用AI印象や引用、識別可能な紹介訪問、役立つ製品アクションを別々にレビューする. アクセスが復元されると技術的修復が確立される. 後の引用や顧客訪問は別の結果を確立する. 両方の記録を保持することで、チームは何が改善されたか、さらなる作業が価値ある場所を防御的に説明できる.
サイトのランキングを確認する
アクション可能な発見と優先修正を含む無料のAI搭載SEOレポートを取得
サインアップ不要.