XML-Sitemaps: Ein sauberes Kartenwerk für Crawler

Eine Sitemap ist ein Entdeckungswerkzeug. Sie sagt Suchmaschinen, welche URLs Sie für das Crawlen wertvoll halten und ungefähr wann jede zuletzt geändert wurde. Auf einer kleinen Seite mit sauberem internen Linking ändert sie sich wenig. Auf einer großen Seite, einer neuen Seite oder einer, auf der nützliche Seiten 4 Klicks von der Startseite entfernt liegen, ist sie oft der Unterschied zwischen einer Seite, die diese Woche gefunden wird, und einer, die im nächsten Quartal gefunden wird. Zwei Eigenschaften machen eine Sitemap nützlich: Sie ist entdeckbar und ehrlich. Entdeckbar bedeutet, dass sie von robots.txt referenziert oder direkt eingereicht wird und an einer stabilen URL liegt. Ehrlich bedeutet, dass jede URL darin eine ist, die Sie indexieren möchten, also canonical, 200 zurückgibt und für das Crawlen offen ist. Der häufigste Defekt ist eine Sitemap, die einmal generiert und nie neu generiert wird, URLs auflistet, die jetzt umleiten oder 404 sind, während alles, was seitdem veröffentlicht wurde, ausgelassen wird. Das zweite ist eine Sitemap, die jede URL enthält, die das CMS erzeugen kann, einschließlich Tag-Archive, paginierte Duplikate und parametrisierte Varianten. Beide lehren Suchmaschinen, die Datei weniger zu vertrauen. Diese Prüfungen bestätigen, dass die Sitemap gefunden werden kann, als gültiges XML geparst wird und die Index- und Kindstruktur korrekt verwendet. Anschließend lesen sie jede aufgelistete URL gegen Ihre eigenen Direktiven, denn eine Datei, die blockierte, noindexierte oder nicht kanonische URLs nennt, widerspricht sich selbst, und Suchmaschinen lösen diesen Widerspruch auf, indem sie der Datei weniger vertrauen.