XML サイトマップ：クローラーにサイトのクリーンなマップを提供

サイトマップは発見支援です。検索エンジンにクロールすべき URL と各 URL が最後に変更された時期を伝えます。小さなサイトで内部リンクがきれいなら変更は少ないです。大きなサイト、新しいサイト、または有用なページがホームページから 4 回クリック離れた場所にある場合、サイトマップは今週見つかったページと次の四半期で見つかるページの差を生み出します。サイトマップが有用になるのは 2 つの特性です：発見可能であること、そして正直であること。発見可能とは robots.txt から参照されるか、直接送信されるか、安定した URL に存在することです。正直とは、サイトマップ内のすべての URL がインデックスしたいもの、すなわち canonical、200 を返し、クロール可能であることです。最も一般的な欠陥は、サイトマップが一度生成されて再生成されず、現在リダイレクトまたは 404 になっている URL をリストし、公開されたすべてを省略することです。第二に、CMS が生成できるすべての URL を含むサイトマップがあり、タグアーカイブ、ページネーションの重複、パラメータ化されたバリアントを含みます。両方とも検索エンジンにファイルへの信頼を減らさせます。これらのチェックはサイトマップが見つかるか、正しい XML として解析され、インデックスと子構造が正しく使用されているかを確認します。さらに、リストされた各 URL をあなた自身のディレクティブと突き合わせます。ブロック済み、noindex、あるいは非 canonical の URL を挙げるファイルは自己矛盾しており、検索エンジンはその矛盾をファイルへの信頼を下げることで解消します。