AI検索準備：アシスタントとクローラーの両方に利用可能であること

アシスタントは、ランク付けされたリンク一覧を返すのではなく、ページを直接読んで引用することで質問に答えます。彼らはGPTBot、ClaudeBot、PerplexityBot、Google-Extendedなどの名前付きクローラーを通じてあなたのサイトにアクセスし、各クローラーはrobots.txtを個別に読み取ります。サイトはGooglebotにはオープンで、すべてのアシスタントには閉じていることが多く、通常はデフォルトルールがテンプレートからコピーされたためです。最初の決定はポリシーに関するもので、あなたのものです：どのエージェントがあなたのコンテンツを読むことができ、何のために読むか。robots.txtでそれを明示的に示すことは、デフォルトに任せるよりも優れています。明示的な許可はアシスタントに歓迎されることを示し、明示的な禁止は曖昧な沈黙よりも明確なシグナルです。llms.txtファイルは第二の層です。これはサイトルートにある短いMarkdownドキュメントで、サイトが何であるかを命名し、引用したいページへのリンクを提供します。sitemapや構造化データを補完し、単独では何も得られません：リンク先のページはまだ到達可能で、最新で、引用に値する必要があります。これらのチェックはアシスタントの視点からrobots.txtを読み取り、llms.txtを取得し、その中の同一オリジンのリンクをすべてたどります。解決できなくなったページを命名するファイルは、ファイルが全くないよりも信頼性を損ないます.

これらを手作業で確認する必要はありません。このページのすべてのチェックはオンデマンドでも実行でき、クローラーポリシー、llms.txt、参照解決の結果を同じ内容のJSONとして返します。詳しくは SEOレポートAPIとMCPサーバー.