Back to articles

監査したサイトの13%がAIクローラーをブロック — 当初公表した40.8%を訂正します

SEOReport Team·
ai-crawlersrobots-txtai-searchgenerative-engine-optimizationtechnical-seodata-analysis

サンプル内のすべての robots.txt を読み直したところ、自社パーサーに2つの不具合が見つかりました。訂正後の割合は監査対象45サイト中6サイト、つまり13.3%で、当初公表した40.8%ではありません。訂正後の件数は学習用クローラーと検索用クローラーを合算したものであり、AI検索からの除外率ではありません。

2026年8月31日更新。8月20日に公開した本記事の初版は、「監査した49サイトのうち20サイト、40.8%」という書き出しでした。この数値は二重に誤っていました。40.8%は個々の監査実行のうちチェックに不合格となった割合であり、異なるサイトの割合ではありません。それをサイト数に掛け戻した結果、誰も実際には数えていない「20サイト」という数字が生まれました。さらに悪いことに、サンプル内のすべての robots.txt を仕様に照らして読み直したところ、不合格の半数は自社パーサーの2つの不具合が生み出していたことが判明しました。訂正後の数値は以下のとおりです。今では、この訂正のほうが本記事のより有用な半分になっています。

2026年8月31日、現在のエンジンの集計期間に監査した48の異なるドメインすべてから robots.txt を再取得したところ、そのうち45ドメインがファイルを返しました。この45サイトのうち6サイト(13.3%)が、少なくとも1つの主要なAIクローラーをサイト全体から締め出していました。その対極にあるのが、AIクローラーに適用されるルールがまったくない8サイトで、AIクローラーが従うべきワイルドカード指定すらありません。これはサンプルの17.8%にあたります。

残る31サイト(サンプルの68.9%)は、AIクローラーが実際に読み取るポリシーを robots.txt に記載しており、どのAIクローラーもサイト全体ではブロックしていません。この件数からは、これらのポリシーを所有者が意図的に見直したサイトがいくつあるのかはわかりません。また、学習用クローラーだけを制限していることは、検索での可視性が失われていることの根拠にはなりません。

少なくとも1つのAIクローラーをサイト全体でブロック613.3%
AIクローラーに適用されるルールがまったくない817.8%
明示的なルールあり、サイト全体のブロックなし3168.9%

調査方法。対象は、現在のエンジンの集計期間(2026年5月23日から8月31日まで)に監査が完了したすべての異なるドメインです。228回のレポート実行にわたる48ドメインになります。保存済みの判定には不具合のあるパーサーの結果が記録されているため、上の表は保存済みの集計ではありません。これらのドメインで公開中の robots.txt を同日に再取得し、8月31日に読み込んで、修正後のパーサーで評価したものです。48ドメインのうち3ドメインはすでに robots.txt を提供していないため、分母は45になっています。サンプルは自己選択によるもの(誰かが監査を実行すると選んだサイト)で、中小規模のサイトに偏っています。これらの割合は、ウェブ全体ではなく、ウェブのロングテールについての傾向を示す目安として扱ってください。ドメイン名は公表していません。

監査対象45サイトの robots.txt におけるAIクローラーへの対応(2026年8月31日に再取得)

訂正そのものが証拠の一部です

ファイルを読み直したことで、空の disallow 値の扱いと、名前付きクローラーグループとワイルドカードルールの関係の扱いに誤りがあることが明らかになりました。公開された解釈は RFC 9309(英語)に示されています。空のパスは無視され、該当する名前付きグループはワイルドカードグループより優先されます。同じクローラーに対する複数のグループは結合する必要がある場合があり、ファイル内の記述順だけでは信頼できるポリシーにはなりません。

不具合は修正済みで、それを明らかにしたケースは回帰テストとして残しています。このサンプルでは、以前ブロックと判定していた5サイトが実際にはブロックしておらず、以前問題なしと判定していた1サイトが実際にはブロックしていました。訂正後の結果は、取得したファイルについての日付付きの観測です。現時点でのアクセス可否や、ウェブ全体での普及率を示すものではありません。

robots.txt はアクセス経路の一つにすぎません。CDN のチャレンジ、ログインの壁、ネットワークでの拒否によって、ファイルが許可していても取得できないことがあります。逆に、意図的な学習の制限は、そのサイトがAI検索で表示されないことの証拠にはなりません。13.3%という数値はクローラーの目的を合算したものであり、AI検索からの除外率として提示することはできません。

検索でのアクセスと学習の許可は別々の判断です

OpenAI のボットに関するドキュメント(英語)は、検索での発見に使われる OAI-SearchBot と、モデルの学習に使われる可能性のある GPTBot を区別しています。両者の制御は独立しています。ChatGPT-User はユーザーの指示による訪問を表し、さらに別の役割を持ちます。ポリシーを見直す際は、許可または制限しようとしている目的を明示すべきです。

Anthropic も、学習、検索、ユーザーによる取得のそれぞれに別々のクローラーがあることを文書化しています。所有者が本当にそれを意図している場合を除き、「AIボット」という大まかな括りを、単一の許可スイッチにしないでください。

これらの各クローラー、そして Google、Apple、Meta、Amazon が公開しているトークンには、それぞれ当社のAIクローラーリファレンスに専用ページがあり、正確な robots.txt トークンと運営元のドキュメントを掲載しています(英語)。

Google には独自の制御手段があります。当社の生成AI検索ガイドでは、Search Console の掲載設定を、クロール、インデックス登録、スニペットの適格性とあわせて解説しています。Google-Extended は別の制御であり、robots.txt に記載されていても、Search 側の設定を見直す代わりにはなりません。

これらの区別は商業的に役立ちます。企業は、公開ドキュメントを見込み客に見つけてもらいたいと考えながら、学習については別の判断を下すことができます。許可ルールも掲載設定も、回答がそのページを引用することを保証するものではありません。これらは、発見が起こりうる条件の一部を整えるものです。

重要な URL を一つ選び、意図したポリシーと照らし合わせて確認する

見込み客が見つけられるべきページを一つ選びます。役に立つガイド、製品の説明、開発者向けのサンプルなどです。プロバイダーとクローラーの目的、適用されるポリシー、実際に返されたレスポンスを記録します。タイムスタンプを残し、検証済みのプロバイダーからの実際のリクエストと、そのユーザーエージェント名を使っただけのテストとを区別してください。

所有者が検索での発見を望んでいるのに、該当する検索用クローラーが意図せず disallow されている場合は、その矛盾を個別に修正します。学習のブロックが意図的なものであれば、意図的であると記録してください。大まかなボットのスコアを緑に近づけるためだけに、それを削除しないでください。

名前付きのルールがないことは、それだけで不具合になるわけではありません。ワイルドカードルールがそのクローラーに適用される場合があり、該当するグループがひとつもなければ、robots の標準はその不在を禁止とは扱いません。明示的なルールは意図を文書化できますが、行数が多いほど優れたアクセスポリシーになるわけではありません。

ファイルを変更したら、公開中のレスポンスを確認します。プロバイダーが管理するファイルやキャッシュは、リポジトリ内のコピーと異なる場合があります。続いて、重要なページそのものを、リダイレクト後の最終的な遷移先も含めて確認してください。インデックス可否の競合に関する記事では、クロールの許可とインデックス登録の許可が別々の観測である理由を説明しています。

アクセスが有用な可視性につながっているかを測定する

結果を探す前に、ポリシーとレスポンスの証拠を保存しておきます。Google の生成AIでの表示回数、プロバイダーでの引用、参照元からの訪問、製品上の有用なアクションは、それぞれ異なる問いに答えるものです。これらを作り上げた「AI可視性」の合計値にまとめるのではなく、それぞれの出典と集計期間を記録してください。

SEOReport にとって最も強力な公開証拠は、影響を受けたページ、所有者が意図した挙動、具体的な修正、そして再現可能な検証結果です。読者は、非公開の検出手法を知らなくても、これらの事実を評価できます。AI検索対応ガイドでは、これらの観測を実践的な見直しの手順としてまとめています。

この訂正によって、当初の見出しが示していた教訓は変わります。当社のサンプルが裏付けるのは、クローラーの制限についての小規模で日付付きの件数です。有用な作業とは、どの制限が所有者の意図に合っているかを判断し、実際に返されるページを確認し、選んだ検索サーフェスが実際に報告する結果を測定することです。

サイトの完全な診断を受ける

根拠に基づくレポートと優先順位付きの改善計画を、毎月のクレジット付きプランで。