Back to articles

AI クローラー向け robots.txt：検索、学習、ユーザーによる取得

SEOReport Team·
robots-txtai-crawlersai-searchcrawl-accesstechnical-seo

AI クローラー向け robots.txt を判断表で整理。AI 検索、モデルの学習、ユーザーによる取得それぞれのトークン、ブロックの代償、すぐ使える 3 つのポリシーを紹介します。

AI クローラーには 3 つの異なる目的があり、robots.txt はそれぞれを独自のトークンで制御します。AI 検索や回答機能のためのクロール、モデルの学習用のページ収集、そして人が質問したことをきっかけとするページの取得です。ほとんどのサイトは 1 つ目を望み、2 つ目については意識的に選択し、3 つ目は一部しか制御できません。「AI をブロック」という単一のルールではこれらが混ざってしまい、多くの場合、サイト運営者が残したかったはずの AI 検索での露出が犠牲になります。

下の表は、各運営元自身のドキュメント（2026 年 10 月に確認）に基づいており、クローラーごとの情報はAI クローラーのリファレンスで追跡しています。

どの robots.txt トークンがどの AI の目的を制御するのか

AI 検索と回答OAI-SearchBot、Claude-SearchBot、PerplexityBot、meta-webindexer、Amzn-SearchBotOpenAI によると、拒否したサイトは ChatGPT の検索回答に表示されません（ナビゲーション用のリンクを除く）。Anthropic によると、Claude の検索結果での露出が下がる可能性があります。Perplexity は検索結果を自社のクローラーと結び付けています。Meta によると、インデクサーを許可すると Meta AI がコンテンツを引用してリンクしやすくなります。従う。各運営元がこのトークンを制御手段として明示しています。
モデルの学習GPTBot、ClaudeBot、meta-externalagent、AmazonbotOpenAI と Anthropic によると、このルールはコンテンツを学習に使うべきでないという意思表示になり、検索は別のトークンで扱われます。Meta と Amazon のクローラーは製品の用途にも使われるため、ブロックするとそちらも止まります。従う。各運営元がこのトークンを制御手段として明示しています。
独自のクローラーを持たない学習用トークンGoogle-Extended、Applebot-ExtendedGoogle：検索への掲載や順位には影響しませんが、学習に加えて Gemini のグラウンディングからも外れます。Apple：Applebot を許可している限り、検索機能には影響しません。Google と Apple の既存のクローラーがサイトを取得するときに読み取られます。
オープンなウェブ アーカイブCCBot今後のクロールでは、Common Crawl が研究者、企業、個人に提供するアーカイブからページが除外されます。従う。Common Crawl によると、CCBot は取得前に robots.txt を確認します。
人がきっかけとなる取得ChatGPT-User、Claude-User、Perplexity-User、meta-externalfetcher、Amzn-UserAnthropic：ユーザーの質問に答えるために Claude がページを取得できなくなります。Anthropic：従う。OpenAI と Amazon：完全には適用されない場合がある。Perplexity：通常は無視する。Meta：回避される場合がある。

各トークンは互いに独立しています。OpenAI は各設定がそれぞれ単独で機能すると明言しているため、GPTBot を禁止しつつ、ChatGPT 検索を支えるクローラーである OAI-SearchBot を許可することができます。両方を許可しているサイトでは、1 回のクロールを両方の用途に使う場合があると OpenAI は述べています。

3 つの行は、もう少し丁寧に読む必要があります。

学習用クローラーの中には、学習以外にも使われるものがある。 Meta によると、Meta-ExternalAgent は、基盤モデルの学習や、コンテンツを直接インデックスすることによる製品の改善といった用途でクロールします。Amazon によると、Amazonbot は同社の製品やサービスを改善し、AI モデルの学習に使われる場合もあります。両社の検索用エージェントである Meta-WebIndexer と Amzn-SearchBot には独自のトークンがあり、Amazon によると、Amzn-SearchBot は生成 AI の学習用にコンテンツをクロールしません。

2 つのトークンはクロールを行わない。 Google によると、Google-Extended には独自のユーザー エージェントがありません。ページを取得するのは Google の既存のクローラーで、このトークンは、そのコンテンツを将来の Gemini モデルの学習や、Gemini アプリおよび Vertex AI の Google 検索によるグラウンディングでの回答の根拠に使ってよいかどうかを決めます。サーバーのログに Google-Extended が現れることはありません。Apple も Applebot-Extended について同じことを述べています。取得するのは Applebot で、このトークンは収集したものを Apple がどう使えるかを決めるだけです。

ユーザーがきっかけとなるエージェントは、一部 robots.txt の対象外にある。 OpenAI によると、ChatGPT-User には、人がリクエストを開始したため robots.txt のルールが適用されない場合があります。Perplexity は、Perplexity-User がユーザーのリクエストでアクセスできるサイトを制御するとしながら、この取得ツールは通常 robots.txt のルールを無視するとも述べています。Meta と Amazon も、Meta-ExternalFetcher と Amzn-User について同様の注意を示しています。例外は Anthropic で、自社のボットは robots.txt に従うという説明は Claude-User も対象にしています。

サイトに合うポリシーはどれか

質問に順に答えていくと、どの経路も下のいずれかのパターンにたどり着きます。

はいいいえはいいいえはいいいえはいいいえAI検索の回答に表示されたいかAI検索のトークンは通常のルールのままにするAI検索のトークンを禁止する公開ページがモデルの学習に使われることを受け入れるか学習用のグループは不要GPTBot、ClaudeBot、CCBot、meta-externalagent、Amazonbotを禁止するGoogle と Appleの学習も拒否するかGoogle-Extended とApplebot-Extendedを追加するこの 2つのトークンは記載しないユーザーがきっかけとなる取得を拒否する必要があるかrobots.txtだけでは不可能。サーバーやCDN で強制するファイルを公開し、本番で確認する
Diagram source
flowchart TD
    A["AI 検索の回答に表示されたいか"] -->|はい| B["AI 検索のトークンは通常のルールのままにする"]
    A -->|いいえ| C["AI 検索のトークンを禁止する"]
    B --> D["公開ページがモデルの学習に使われることを受け入れるか"]
    C --> D
    D -->|はい| E["学習用のグループは不要"]
    D -->|いいえ| F["GPTBot、ClaudeBot、CCBot、meta-externalagent、Amazonbot を禁止する"]
    F --> G["Google と Apple の学習も拒否するか"]
    G -->|はい| H["Google-Extended と Applebot-Extended を追加する"]
    G -->|いいえ| I["この 2 つのトークンは記載しない"]
    E --> J["ユーザーがきっかけとなる取得を拒否する必要があるか"]
    H --> J
    I --> J
    J -->|はい| K["robots.txt だけでは不可能。サーバーや CDN で強制する"]
    J -->|いいえ| L["ファイルを公開し、本番で確認する"]

名前を指定したグループが、ワイルドカードのルールで閉じたパスを開いてしまう理由

どのパターンをコピーする前にも、この一致のルールを理解しておいてください。Google の robots.txt に関するドキュメントと、robots.txt の標準規格である RFC 9309 は、どちらも同じことを述べています。クローラーは自分の名前を指定した最も具体的なグループだけに従い、それ以外のグループはすべて無視します。名前を指定したグループは、User-agent: * のルールを引き継ぎません。

text
User-agent: *
Disallow: /cart/
Disallow: /account/


User-agent: OAI-SearchBot
Allow: /

このファイルでは、OAI-SearchBot は /cart/ と /account/ をクロールできます。読み取るのは自分のグループだけだからです。善意で書いた Allow のグループが、名前を指定した 1 つのクローラーに対して、非公開パスのルールを取り除いてしまったのです。名前を指定したグループを削除してクローラーが * に従うようにするか、そのグループ内に非公開パスを繰り返し記述してください。

実際のファイルに影響する一致のルールは、ほかにもあります。

  • 複数の User-agent 行で 1 つのルールセットを共有できます。AI のトークンを長く並べても読みやすく保てます。
  • 2 つのグループが同じクローラーを指定している場合、それらのルールは結合されます。名前を指定したグループが * と結合されることはありません。
  • トークン名は大文字と小文字を区別せずに一致しますが、パスは区別されます。Disallow: /Cart/ は /cart/ を対象にしません。
  • 一致するパスが最も長いルールが優先されます。Allow と Disallow が同じ長さの場合、Google は最も制限の緩いルールを使います。
  • 名前を指定したグループも * のグループもないクローラーには、ルールが一切ありません。
  • ホストごとに独自のファイルを配信します。www.example.com と blog.example.com には別々のルールが必要で、Anthropic は除外したいすべてのサブドメインに拒否の設定を追加するよう求めています。
  • Apple によると、robots.txt に Googlebot の指定があり Applebot の指定がない場合、Applebot は Googlebot のグループに従います。Applebot-Extended が同じようにルールを引き継ぐかどうかは Apple が明らかにしていないため、明示的に指定してください。

よくある 3 つのポリシー向けのコピー可能な robots.txt

どのパターンでも、非公開パス用に通常の * グループを残しています。/cart/ と /account/ は自分のパスに、サイトマップのアドレスは自分のものに置き換えてください。

AI 検索は許可し、学習は拒否する

text
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /


User-agent: *
Disallow: /cart/
Disallow: /account/


Sitemap: https://www.example.com/sitemap.xml

AI 検索のクローラーには名前を指定したグループがないため、* に従い、行を追加しなくても非公開パスには入りません。これが AI 検索のクローラーを許可する最も安全な方法です。CCBot をリストに入れているのは、Common Crawl が研究や分析を目的として研究者、企業、個人にアーカイブを提供しており、その中に学習も含まれるからです。そのアーカイブにページを含めたい場合は外してください。Meta や Amazon の製品での用途を望む場合は、表の後で説明した理由から、meta-externalagent や Amazonbot を削除します。Meta はトークンを小文字で表記しているので、その綴りをそのまま使ってください。

すべての AI クローラーを許可する

text
User-agent: *
Disallow: /cart/
Disallow: /account/


Sitemap: https://www.example.com/sitemap.xml

AI 専用の行は必要ありません。名前を指定したグループを持たないクローラーはすべて * に従います。robots.txt がまったくないサイトも、ファイルがなければルールもないので開かれた状態ですが、ポリシーを表明できず、サイトマップも示せません。2026 年 5 月から 10 月に SEOReport が監査した外部ウェブサイト 45 件のうち、3 件（7%）には robots.txt がありませんでした。

AI クローラーをブロックし、従来の検索は維持する

text
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /


User-agent: *
Disallow: /cart/
Disallow: /account/


Sitemap: https://www.example.com/sitemap.xml

3 つの限界があります。ChatGPT-User、Perplexity-User、meta-externalfetcher、Amzn-User は、それぞれの行に従わない場合があります。名前を指定していないエージェントは、公開後に登場したものも含めて * に従います。そして Google の AI による概要と AI モードを制御するのは Googlebot と検索のスニペットの設定であり、このファイルのどの行でもありません。このケースについては、下の「よくある質問」で説明しています。

robots.txt のルールだけでは足りない場合

RFC 9309 は、robots.txt のルールはアクセス認可の手段ではないと明記しています。ファイルに従うクローラーは入ってきませんが、それ以外はページをリクエストでき、どのクライアントもクローラーの名前を名乗れます。拒否を確実にする必要があるなら、リクエストが届く場所、つまりサーバー、CDN、ファイアウォールで強制してください。ほとんどの運営元は、その確認のために IP アドレスの一覧を公開しています。私たちのリファレンスでは、各運営元の確認方法を示し、Meta-ExternalAgent のように確認方法がない場合はその旨を記載しています。

同じ層が、逆の失敗を引き起こすこともあります。OAI-SearchBot にチャレンジを返すファイアウォールやボット対策のルールは、robots.txt の Allow を打ち消してしまいます。OpenAI は、ChatGPT 検索に表示されたいサイトには、公開しているアドレスからのリクエストを許可するよう推奨しています。この比較の手順は、ボット対策が必要な AI 検索のトラフィックをブロックしていないかの確認のガイドで説明しています。

本番のファイルが意図どおりになっているかを確認する方法

  1. クローラーと同じ方法でファイルを取得する。 curl -s https://www.example.com/robots.txt を実行し、リポジトリのコピーではなく本番で配信されている内容を読みます。robots.txt を管理するホスティング プラットフォームや CDN が、別の内容を配信していることがあります。ステータスコードも確認してください。Google は 429 以外の 4xx レスポンスを robots.txt が存在しないものとして扱います。5xx の後は、最初の 12 時間はサイトのクロールを停止し、その後は最長 30 日間、最後に正常に取得したコピーを使います。
  2. ページを配信しているすべてのホストで繰り返す。 www、apex ドメイン、各サブドメインです。
  3. 名前を指定した各グループを単独で読む。 記載したすべてのトークンについて、このグループがファイル内の唯一のグループだったら、そのクローラーは何を取得できるかを考えます。名前を指定したグループに書かれていない非公開パスは、そのクローラーに開かれています。
  4. 判断する前に時間を置く。 OpenAI によると、変更がシステムに反映されるまで約 24 時間かかります。Perplexity と Meta は最大 24 時間としています。Google は通常、robots.txt を最大 24 時間キャッシュします。Amazon は約 24 時間としたうえで、エージェントが過去 30 日以内のキャッシュを使う場合があるとも述べています。
  5. ログをトークンで確認し、次にアドレスで確認する。 ユーザー エージェント文字列全体ではなく GPTBot のようなトークンで照合し、送信元のアドレスを運営元が公開している一覧と照らし合わせます。

robots.txt はすべてのページの外にあるサイト単位のファイルなので、1 ページずつ読むチェックでは見えません。この盲点については、AI エージェントがページをチェックするときに実際に見えているもので解説しています。SEOReport の完全な診断では、AI クローラーと同じ方法で robots.txt を読み、選んだ学習の拒否とは切り分けて、AI 検索のクローラーがサイトに到達できるかどうかを示します。GPTBot、ClaudeBot、CCBot、OAI-SearchBot、Claude-SearchBot、PerplexityBot、Claude-User のルールを名前ごとに読み取り、自動化された訪問者を止めてしまうボット対策やチャレンジも報告します。監査したサイトが実際にこれらのルールをどう書いていたかはAI クローラーと robots.txt の監査データを、AI エージェント以外も含めた robots.txt についてはrobots.txt とクロールアクセスのガイドを参照してください。

よくある質問

GPTBot をブロックすると、サイトは ChatGPT 検索から消えますか？

いいえ。OpenAI は、GPTBot と OAI-SearchBot は独立した設定だと明言しています。GPTBot は学習を、OAI-SearchBot はページを ChatGPT の検索回答に表示できるかどうかを決めます。GPTBot だけを禁止しても、ChatGPT 検索は必要なアクセスを保ちます。

Google-Extended をブロックすれば、ページは AI による概要に表示されなくなりますか？

いいえ。AI 機能とウェブサイトに関する Google のドキュメント（2026 年 10 月に確認）は、アクセスの制御手段として Googlebot 向けの robots.txt のルールを挙げ、表示内容を制限する方法として nosnippet、data-nosnippet、max-snippet、noindex を挙げています。AI による概要や AI モードで補足リンクとして表示されるには、ページがインデックスに登録され、スニペットの表示対象になっている必要があります。Google-Extended が制御するのは Gemini の学習とグラウンディングであり、検索の機能ではありません。

学習を拒否すると、すでに収集されたコンテンツは削除されますか？

私たちが追跡している運営元のページは、ルールが読み取られた時点以降に何を意味するかを説明しています。たとえば Anthropic は、ClaudeBot を制限すると、サイトの今後のコンテンツを学習から除外すべきだという意思表示になるとしています。robots.txt によって以前に収集したコンテンツを削除すると説明している運営元はありません。なお Common Crawl は、受け付けた法的な拒否の申請を記録する Opt-Out Ledger を別途管理しています。

すべての AI クローラーについてルールが必要ですか？

いいえ。* と異なる扱いをしたいエージェントだけを指定してください。名前を指定していないクローラーはすべて * のグループに従います。名前を指定したグループを長く並べるほうが安全になるのは、各グループに必要な非公開パスが記載されている場合に限られます。

サイトの完全な診断を受ける

根拠に基づくレポートと優先順位付きの改善計画を、毎月のクレジット付きプランで。

動画を見る料金を見る