KI-Suchbereitschaft: Nutzbar für Assistenten ebenso wie für Crawler

Assistenten beantworten Fragen, indem sie Seiten direkt lesen und daraus zitieren, statt eine Rangliste von Links zurückzugeben. Sie erreichen Ihre Seite über benannte Crawler, darunter GPTBot, ClaudeBot, PerplexityBot und Google‑Extended, und jeder liest robots.txt unabhängig. Eine Seite kann für Googlebot weit offen und für jeden Assistenten geschlossen sein, meist weil eine Standardregel aus einer Vorlage kopiert wurde. Die erste Entscheidung ist eine Politik‑Entscheidung, und sie liegt bei Ihnen: welche Agenten Ihren Inhalt lesen dürfen und zu welchem Zweck. Eine explizite Erlaubnis sagt einem Assistenten, dass er willkommen ist; eine explizite Verweigerung ist ein klares Signal statt einer mehrdeutigen Stille. Die llms.txt‑Datei ist die zweite Schicht. Sie ist ein kurzes Markdown‑Dokument im Root Ihrer Seite, das benennt, was die Seite ist, und auf die Seiten verlinkt, die Sie am meisten zitieren lassen wollen. Sie ergänzt Sitemaps und strukturierte Daten und bringt nichts allein: die Seiten, auf die sie verlinkt, müssen immer noch erreichbar, aktuell und zitierwürdig sein. Diese Prüfungen lesen Ihre robots.txt aus Sicht eines Assistenten, holen dann llms.txt und folgen jedem Link darin, der auf dieselbe Origin zeigt. Eine Datei, die Seiten benennt, die nicht mehr aufgelöst werden, kostet mehr Glaubwürdigkeit als keine Datei überhaupt.

Nichts davon muss von Hand geprüft werden. Jede Prüfung auf dieser Seite läuft auch auf Abruf und liefert dieselben Ergebnisse zu Crawler-Policy, llms.txt und Referenzauflösung als JSON — über die SEO-Bericht API und den MCP-Server.