robots.txt によりブロックされましたが、インデックスに登録しました
「robots.txt によりブロックされましたが、インデックスに登録しました」の意味、原因のルールの見つけ方、ブロック解除か noindex かの判断を解説します。
「robots.txt によりブロックされましたが、インデックスに登録しました」（英語版では "Indexed, though blocked by robots.txt"）は、robots.txt でクロールが禁止されている一方でリンクがその URL を指し続けているため、Google がページを読まないまま URL をインデックスに登録したことを意味します。検索結果には、説明文がほとんどないか、まったくない状態で表示されるのが普通です。これが問題かどうかは、1 つの判断で決まります。ページを上位表示させたいならブロックを解除します。検索から外したいなら robots.txt は適切な手段ではなく、クロールを許可したうえで noindex を使うのが正しい修正です。
ドイツ語版の Search Console では、同じステータスが "Indexiert, obwohl durch robots.txt-Datei blockiert" と表示されます。
Google によるこのステータスの説明
Google のページ インデックス登録レポートのドキュメント（2026 年 10 月に確認）は、このステータスを一行で、サイトの robots.txt ファイルでブロックされているにもかかわらずページがインデックスに登録された状態だと説明しています。さらに、Google は常に robots.txt を尊重するものの、他のサイトがそのページにリンクしている場合、それによってインデックス登録が必ず防げるわけではないと付け加えています。Google はページをリクエストせず、リンク元のページから得た情報を使って URL をインデックスに登録するのです。
Google はこのステータスをエラーではなく「警告」に分類しています。ドキュメントによると、警告はページのインデックス登録を妨げるものではありませんが、Google がページを理解してインデックスに登録する能力を低下させます。URL はインデックスに入っています。欠けているのは、Google がページを取得していれば得られたはずの情報すべて、つまり自分で書いたとおりのタイトル、本文、構造化データ、そして robots メタタグです。
ドキュメントには、こうしたページのスニペットはおそらく非常に限られたものになるとも書かれています。Google の robots.txt の概要はもっと直接的で、ブロックされた URL も検索結果に表示されることはあるが、その結果には説明文が付かないとしています。
ブロックされたページがインデックスに登録される仕組み
robots.txt が制御するのはクロールであり、インデックス登録ではありません。Google 自身の robots.txt の概要によると、robots.txt は主にリクエストによるサイトの過負荷を避けるための手段であり、ページを Google から除外するための仕組みではありません。
Diagram source
sequenceDiagram
participant L as URL へのリンク
participant G as Googlebot
participant R as robots.txt
participant I as Google のインデックス
L->>G: URL を検出
G->>R: このパスは許可されているか
R-->>G: Disallow に一致
Note over G: ページは取得されず、noindex も読まれない
G->>I: リンクのシグナルから URL を登録
I-->>I: 説明文がほとんどない状態で掲載善意の設定が裏目に出るのはこのためです。あるページを検索から外したいチームが noindex タグを追加し、念のため robots.txt でもそのパスをブロックします。ブロックによって Google はページを取得できなくなり、noindex は読まれません。インデックス登録のブロックに関する Google のドキュメントは、noindex を機能させるには、ページが robots.txt でブロックされていてはならないと明記しています。
よくある 5 つの原因
1. リンクされたままのページを意図的にブロックしている。 サイト内検索の結果、絞り込みや並べ替えをした一覧の URL、カートやアカウントのページ、管理画面のパスは、日常的に禁止されています。ナビゲーション、サイトマップ、他のサイトからこれらにリンクがあれば、Google は URL の存在を知り、その一部をインデックスに登録することがあります。たとえば WordPress は、サイトに独自の robots.txt ファイルがない場合、管理画面のパスを禁止する robots.txt を生成します。そのため、リンクされた管理画面の URL がこのステータスで表示されることがあります。
2. 同じページに noindex と Disallow がある。 上で説明した設定です。1 つの URL に 2 つの指示があり、防ぐはずだった結果をまさに引き起こします。
3. ルールが意図より広い。 robots.txt のパスは URL パスの先頭から一致し、大文字と小文字が区別されます。Disallow: /shop は /shop/ だけでなく、/shop-guide/ や /shopping-tips/ もブロックします。あるセクション向けに書いた短い接頭辞が、別のセクションのコンテンツページまで巻き込むことがあります。
4. サイトマップにブロックされた URL が掲載されている。 サイトマップは URL が存在し重要であることを Google に伝えますが、robots.txt はそのクロールを禁止しています。2026 年 5 月から 10 月に SEOReport の監査に送信され、サイトマップのページを取得できた外部ウェブサイト 29 件のうち、2 件（7%）が、自サイトの robots.txt で禁止している URL をサイトマップに掲載していました。同じ 29 サイトのうち 8 件（28%）には、リダイレクトする、noindex が指定されている、または robots.txt でブロックされているサイトマップ URL が 1 件以上ありました。
5. インデックス登録済みのサイトを後からサイト全体でブロックした。 Disallow: / を含むステージング用の robots.txt を本番にコピーしても、Google がすでに把握しているページは削除されません。Google がもう読めなくなったため、それらのページは説明文がほとんどない状態で掲載され続けることがあります。
問題なのか：修正、別の方法での修正、放置
答えはステータスそのものではなく、そのページの目的によって決まります。
| ページを上位表示させたい | すぐに修正 | ブロックしているルールを削除する |
| ページを検索から外したい | 修正 | クロールを許可して noindex を使うか、ページを削除するかパスワードで保護する |
| クロールを抑えるためにブロックしている価値の低い URL で、検索での露出は見られない | 放置、経過観察 | それらへのリンクをやめ、サイトマップにも含めない |
3 行目には実際のトレードオフがあります。サーバーを守るために数百万件のパラメータ付き URL をブロックしている場合、Google に noindex を読ませるためにブロックを解除すれば、避けたかったクロールを招くことになります。表示回数のないそうした URL がこの警告に少数あるだけなら、通常は許容できます。一方、コンテンツページがこのステータスになっている場合は、必ず修正が必要です。Google はそのページを読んでおらず、クリックを呼び込むための説明文もないまま表示されているからです。
Diagram source
flowchart TD
A["robots.txt によりブロックされましたが、インデックスに登録しました"] --> B{"このページを検索に表示させたいか"}
B -->|はい| C["ブロックしているルールを見つける"]
C --> D["ページに隠れた noindex がないか確認する"]
D --> E["ルールを削除するか範囲を狭める"]
B -->|いいえ| F{"ブロックはクロール負荷を抑えるためか"}
F -->|いいえ| G["クロールを許可し、noindex を追加する"]
F -->|はい| H["放置し、リンクをやめ、サイトマップから外す"]
G --> I["任意：削除ツールで約 6 か月間非表示にする"]
E --> J["Search Console で修正を検証する"]
G --> J特定の URL について原因を確認する方法
該当 URL で URL 検査ツールを実行する。 ページのインデックス登録の詳細にある「クロールを許可?」で、robots.txt のルールが Google をブロックしているかどうかがわかります。また公開 URL のテストでは、ブロックされた URL の「ページの取得」が失敗と表示されます。同じセクションの「参照元ページ」と「サイトマップ」には、Google がその URL を見つけた可能性のある経路が表示されるので、どのリンクやサイトマップの項目が URL を把握され続けさせているかがわかります。ここでは「インデックス登録を許可?」は無視してください。Google のヘルプによると、ブロックされたページではこの欄は常に「はい」と表示されます。Google は取得を許可されていないページの noindex を見ることができないからです。
該当するルールを正確に特定する。 URL を配信しているホスト、プロトコル、ポートと完全に一致するルートにある robots.txt を開きます。各ファイルのルールは、そのホスト、プロトコル、ポートにしか適用されないからです。
curl -s https://www.example.com/robots.txt
次に、Google の robots.txt の仕様に従って、Google と同じように読み解きます。
- Googlebot は、一致する
User-agentグループのうち最も具体的なものだけに従います。ファイルにUser-agent: Googlebotのグループがあれば、Googlebot に対してUser-agent: *のグループは完全に無視されます。 - そのグループ内では、一致するパスが最も長いルールが優先されます。Allow と Disallow が同じように一致する場合、Google は制限の緩いほうを使います。
*は任意の文字列に一致し、$は URL の末尾を示します。
Search Console の robots.txt レポートには、サイト上の上位 20 個のホストについて Google が見つけた robots.txt ファイル、それぞれの最終クロール日時、ファイル内の警告やエラーが表示されます。これで、編集しているものとは別のバージョンを Google が読んでいるケースを見つけられます。
ブロックの裏にあるものを確認する。 ブロックを解除する前に、Google がページを取得できるようになったら何が見えるかを確認します。
curl -sI https://www.example.com/page/ | grep -i x-robots-tagcurl -s https://www.example.com/page/ | grep -i '<meta name="robots"'
何か月もブロックされていたページには、誰も見られなかったために気づかれなかった noindex、リダイレクト、404 が残っていることがあります。
ケースごとの修正方法
ページをインデックスに登録させたい場合。 Disallow のルールを削除するか、範囲を狭めます。広いルールがまだ必要な場合は、クロールさせたいページに対して、より長い Allow のルールを追加します。
User-agent: *Disallow: /shop/Allow: /shop/guides/
/shop/guides/ のほうが一致が長いため、それらの URL ではこちらが優先され、/shop/ の残りはブロックされたままになります。その URL はサイトマップと内部リンクに残しておいてください。
ページを検索から外したい場合。 そのページに対する Disallow のルールを削除し、noindex の指示を追加します。
<meta name="robots" content="noindex">
PDF などの HTML 以外のファイルでは、代わりにレスポンスヘッダーで指示を送ります。
X-Robots-Tag: noindex
URL をサイトマップからも外してください。Google がページを再クロールして noindex を読むと、URL はインデックスから外れ、未登録のグループの「URL に noindex が指定されています」に移ります。これが正しい最終状態です。ページはクロール可能なままにしておきます。再びブロックすると noindex が見えなくなり、リンクによって URL が同じ警告とともに戻ってくる可能性があります。404 か 410 でページを削除する、ログインの後ろに置く、という方法も、Google が挙げている恒久的な選択肢です。Search Console の削除ツールは URL を約 6 か月間非表示にしますが、Google のヘルプによると、このツールだけでは恒久的な削除にはなりません。
クロールを制御するためにブロックしている場合。 ルールはそのままにし、テンプレートからそれらの URL へのリンクをやめ、サイトマップにも含めないようにします。禁止しているものを自ら宣伝しないためです。
修正を検証する方法
Google は通常、robots.txt を最大 24 時間キャッシュします。ファイルを変更したら、robots.txt レポートから再クロールをリクエストできます。続いて URL 検査ツールで公開 URL のテストを実行し、「クロールを許可?」が「はい」になったことを確認します。インデックスに登録させたいページでは、「インデックス登録をリクエスト」を使います。
該当するすべての URL に対応したら、ページ インデックス登録レポートでこの問題を開き、「修正を検証」をクリックします。Google のドキュメントによると、検証には通常最長で約 2 週間かかり、さらに長くかかることもあります。件数が減るまでには数日から数週間かかると考え、現在の検証が合格か不合格になるまでは、再度「修正を検証」をクリックしないでください。
ページそのものは普通に見えるため、ブラウザやアシスタントとのチャットからこのステータスに気づくのは困難です。矛盾は別のファイルにあり、その盲点はAI エージェントがページをチェックするときに実際に見えているもので解説しています。Search Console では、影響を受けている URL がわかります。SEOReport の完全な診断では、サイトマップに掲載されたページを、robots.txt がすべてのクローラーに設定しているルールと照らし合わせ、サイトマップで告知しているのに robots.txt でブロックしているページを特定します。クロールされないままインデックスに登録される URL の多くは、この矛盾が原因です。サイト全体の禁止も指摘します。
よくある質問
ブロックしたページは、Google が自動的に検索から削除してくれますか？
確実ではありません。Google はブロックを尊重するため、ページを除外すべきだと伝える情報を何も読めず、リンクによって URL は把握され続けます。クロール可能なページに noindex を付けるか、404 か 410 を返すか、パスワードで保護してください。
このステータスはサイトの他の部分に悪影響を与えますか？
Google のドキュメントには、他のページへの影響は書かれていません。損失は局所的です。説明文がほとんどない状態でインデックスに登録された URL や、隠したかったのに掲載され続けているページです。検索での露出がないクロール制御用の URL であれば、この警告はほとんど見た目だけの問題です。
「URL が robots.txt によってブロックされています」とはどう違いますか？
どちらも同じ種類のルールから生じます。「URL が robots.txt によってブロックされています」は未登録のグループにあり、Google がブロックを尊重して URL をインデックスに登録しなかった状態です。「robots.txt によりブロックされましたが、インデックスに登録しました」は警告で、何かがその URL を指しているため、Google がそれでも URL をインデックスに登録した状態です。ルールそのものについては、robots.txt とクロールアクセスのガイドで解説しています。
robots.txt の中で noindex を使えますか？
いいえ。Google の robots.txt の仕様がサポートしているのは、user-agent、allow、disallow、sitemap の 4 つのフィールドだけなので、そこに書いた noindex の行は無視されます。noindex は、Google がクロールを許可されている URL で、ページの robots メタタグか X-Robots-Tag レスポンスヘッダーに記述してください。
ルールを削除したのに、まだこのステータスが表示されるのはなぜですか？
Google は robots.txt を再取得し、各 URL を再クロールしてから、レポートを更新する必要があります。URL 検査ツールの公開 URL のテストで「クロールを許可?」が「はい」になっていれば、レポートはいずれ追いつきます。関連するシグナルについては、ページのインデックス可否のガイドと、noindex、robots.txt、canonical の間のインデックス可否の矛盾の分析で扱っています。