KI-Suchbereitschaft: Nutzbar für Assistenten ebenso wie für Crawler
Such-Crawler wie OAI-SearchBot und Trainings-Crawler wie GPTBot lesen robots.txt separat. Wie man eine explizite Crawler-Policy und eine nützliche llms.txt festlegt.
Assistenten beantworten Fragen, indem sie Seiten direkt lesen und zitieren, anstatt eine nachrangige Liste von Links zurückzugeben. Sie erreichen Ihre Site über benannte Crawler, und jeder liest robots.txt unabhängig. OAI-SearchBot, Claude-SearchBot und PerplexityBot holen Seiten für ChatGPT-Suche, Claude- und Perplexity-Antworten, und Claude-User holt eine Seite, wenn jemand fragt. GPTBot, ClaudeBot und CCBot sammeln stattdessen Trainingsdaten, sodass das Blockieren sie eine Lizenzentscheidung ist, die die Site nicht aus der KI-Suche entfernt. Eine Site kann Googlebot weit offen lassen und jeden Assistenten schließen, normalerweise weil eine Standardregel aus einer Vorlage kopiert wurde. Die erste Entscheidung ist eine Politikentscheidung, und sie ist Ihre: welche Agenten Ihren Inhalt lesen dürfen und zu welchem Zweck. Eine explizite Erlaubnis sagt einem Assistenten, dass er willkommen ist; eine explizite Verweigerung ist ein klares Signal statt einer mehrdeutigen Stille. Die llms.txt-Datei ist die zweite Schicht. Sie ist ein kurzes Markdown-Dokument im Root Ihrer Site, das benennt, was die Site ist, und auf die Seiten verlinkt, die Sie am meisten zitieren lassen wollen. Sie ergänzt Sitemaps und strukturierte Daten und verdient nichts allein: die Seiten, auf die sie verlinkt, müssen immer noch erreichbar, aktuell und zitierwürdig sein. Prüfen Sie beide aus Sicht eines Assistenten: lesen Sie Ihre robots.txt so, wie jeder benannte Crawler es tun würde, öffnen Sie dann llms.txt und bestätigen Sie, dass jeder Link darin noch aufgelöst wird. Eine Datei, die Seiten benennt, die nicht mehr aufgelöst werden, kostet mehr Glaubwürdigkeit als keine Datei überhaupt.
Nichts davon muss manuell überprüft werden. Auf einem kostenpflichtigen Plan sind die gleichen Crawler-Policy- und llms.txt-Ergebnisse auf Anfrage als JSON verfügbar, über die SEO-Bericht API und den MCP-Server.
Die kostenpflichtige Diagnose von SEOReport prüft dieses Thema auf den Seiten Ihrer eigenen Website, zeigt die Belege für jeden Befund und ordnet die Korrekturen nach Priorität. Pläne und Preise ansehen.
Erhalten Sie die vollständige Diagnose Ihrer Website
Ein belegter Bericht und ein priorisierter Aktionsplan – in einem Plan mit monatlichen Credits.