2 von 5 Websites blockieren mindestens einen KI-Crawler – Daten aus 49 SEO-Audits

Jede Prüfung, die wir durchführen, ruft robots.txt ab und liest sie so, wie ein AI Crawler es tun würde. Zwischen Mai 5 und August 15, 2026, 20 der 49 Sites, die wir geprüft haben – 40.8% – dienten Regeln, die mindestens 1 der 6 großen AI Crawler, die wir untersuchen, ausschließen, über die gesamte Site hinweg. Ein weiteres 7 Sites (14.3%) befanden sich am anderen Extrem: keine Regeln, die AI Crawler betreffen, nicht einmal eine Wildcard-Direktive, die sie befolgen sollen. Das lässt weniger als die Hälfte der Stichprobe – 22 Sites – mit einer robots.txt, die eine explizite AI-Crawler-Politik angibt und keine von ihnen sitewide blockiert. In einem Jahr, in dem ChatGPT Search, Perplexity und Claude Quellen zitieren, indem sie sie abrufen, ist die Datei, die die meisten Eigentümer seit der Einführung nicht geöffnet haben, heimlich zu einem Sichtbarkeits-Schalter geworden.

Methodik: neueste abgeschlossene Prüfungs-Snapshot pro Domain aus unserem aktuellen Checkset, Mai 5 – August 15, 2026, anonymisiert. Die denominators pro Check variieren zwischen 46 und 49, weil nicht jeder Check auf jeder Site ausgeführt wird – diese 2 Checks erfordern einen erfolgreich bereitgestellten robots. txt. Die Stichprobe ist selbstausgewählt – Eigentümer, die eine Prüfung durchgeführt haben – und neigt zu klein- bis mittelgroßen, daher sollten die Raten als richtungsweisend für den langen Schwanz des Webs betrachtet werden, nicht für das Web im Allgemeinen.

Blockiert in diesen Daten bedeutet ein sitewide Disallow in robots.txt

Unser Engine analysiert jede robots.txt-Gruppe und bewertet 6 User‑Agents dagegen: GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Claude-SearchBot und CCBot. Ein Crawler gilt nur dann als blockiert, wenn eine Gruppe, die ihm entspricht – nach Namen oder über das User-agent: * Wildcard – eine sitewide Disallow: / trägt. Teilweise Verboten wie Disallow: /admin registrieren sich als explizite Richtlinie, was gesund ist, und sie bestehen. 2 Eigenschaften dieser Definition sind wichtig für das Lesen der Zahlen. Erstens ist es konservativ: eine WAF-Herausforderung, eine CDN Bot-Regel oder ein Firewall-Block tauchen nie in robots.txt auf, sodass 40.8% ein Minimum dafür ist, wie viele Seiten diese Crawler tatsächlich abweisen. Zweitens bedeutet die Wildcard-Klausel, dass eine Seite jeden AI‑Crawler blockieren kann, ohne jemals den Namen eines AI‑Crawler zu tippen – ein blanket disallow, geschrieben für eine Staging‑Umgebung, oder ein Template, das niemand seit Jahren neu gelesen hat, gilt für GPTBot genau wie für alles andere.

Die meisten dieser Blöcke beantworten eine Frage aus 2023

Das Blockierungs-Muster, das wir sehen, entspricht dem, was größere externe Stichproben berichten. Eine März 2026 Analyse von 10,000 Seiten durch SEO Score Tools fand heraus, dass 18.7% aktiv GPTBot blockieren und 41.3% überhaupt keine KI-spezifischen Roboterrichtlinien haben. Ihre No‑Rules‑Zahl liegt höher als unsere 14.3% – Definitionen unterscheiden sich zwischen Stichproben, und unsere Prüfung zählt eine Wildcard‑Gruppe als angewandte Richtlinie – aber beide Datensätze stimmen in der Form überein: ein großer Minderteil des Webs hat eine AI‑Zugriffsentscheidung getroffen, die es nie bewusst getroffen hat. Der unbeabsichtigte Teil ist die Geschichte. In 2023, als GPTBot erstmals in Server‑Logs auftauchte und CCBot neu als Trainingsquelle berüchtigt wurde, war die einzige bekannte Konsequenz des Zugriffs das Modell‑Training – so wurden Bot‑Block‑Listen verbreitet, Plugins mit 1‑Klick‑Schaltern ausgeliefert, und Tausende von robots.txt‑Dateien erben Verboten, die seitdem niemand neu gelesen hat. Die Frage, die diese Regeln beantworteten, war „Will ich meinen Inhalt in einem Trainingskorpus haben?“ Die Frage, die in 2026 wichtig ist, ist anders: „Will ich auffindbar und zitierbar sein, wenn ein Assistent zu meinem Thema antwortet?“ Eine Regel, die für die erste Frage geschrieben wurde, beantwortet jetzt stillschweigend die zweite.

Trainings‑Crawler und Such‑Crawler verdienen unterschiedliche Antworten

Die 6 Crawler, die wir untersuchen, teilen sich sauber in 2 Jobs, pro jeder Betreiber‑veröffentlichten Bot‑Dokumentation:

• Suche und Retrieval. OAI-SearchBot indexiert Inhalte, damit ChatGPT Suche sie aufdecken und verlinken kann – OpenAI Dokumentiert, dass dieser Zugriff, und nur dieser Zugriff, bestimmt, ob Seiten für ChatGPT Suchergebnisse berücksichtigt werden. PerplexityBot baut den Suchindex von Perplexity. Claude-SearchBot indexiert, um Claude’s suchbasierte Antworten zu verbessern. Das Blockieren eines dieser entfernt Sie aus den Zitaten dieses Assistenten.
• Training. GPTBot sammelt Inhalte, die OpenAI's Modelle trainieren könnten. ClaudeBot führt das äquivalente Crawlen für Anthropic durch. CCBot liefert Common Crawl, das offene Korpus hinter vielen Forschungs‑ und Trainingsdatensätzen. OpenAI ist ausdrücklich klar, dass das Blockieren von GPTBot keinen Einfluss auf die ChatGPT Sucheinbindung hat — die 2 Pipelines sind getrennt.

Google führt die gleiche Aufteilung unter verschiedenen Namen durch: seine KI erscheint bei gewöhnlichem Googlebot-Zugriff, während der separate Google-Extended-Token das Gemini-Training und die Fundierung steuert. Wir haben diese Mechanik in unserer Anleitung zu Google's generativer Suche.

Die Aufteilung verwandelt eine vage Angst in eine 2-Teilentscheidung. Das Blockieren von Trainings-Crawlern ist eine legitime Haltung darüber, wie Ihr Inhalt wiederverwendet werden darf, und kostet Sie nichts in der KI-Suche. Das Blockieren von Abruf-Crawlern ist eine Sichtbarkeitsentscheidung – dieselbe Kategorie wie das eigene Noindexing – und verdient die gleiche Überlegung.

Schreiben Sie eine robots.txt, die die Entscheidung dokumentiert

Hier ist eine Richtlinie, die in der KI-Suche vollständig sichtbar bleibt, während sie die Trainingszustimmung zurückhält – die häufigste bewusste Aufteilung, die wir sehen:

# Search & retrieval — open, so assistants can find and cite this site
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Training — withheld; this has no effect on AI search visibility
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

Wenn Sie alles offen haben wollen, sagen Sie es ausdrücklich, anstatt es wegzulassen – eine benannte Allow: / Gruppe pro Crawler-Dokument, die jemand entschieden hat, ist genau das, was die 14.3% ohne anwendbare Regeln fehlen. 3 Verifizierungs­schritte schließen den Kreis. Holen Sie https://yoursite.com/robots.txt von außerhalb Ihres Netzwerks und lesen Sie, was tatsächlich in Produktion ausgeliefert wird – CDNs und Plattformen können die Datei in Ihrem Repository einfügen oder überschreiben, und einige Edge-Anbieter liefern 1‑Klick‑AI‑Bot‑Blockierung, die Ihre Anweisungen vollständig außer Kraft setzt. Prüfen Sie alle WAF‑ oder Bot‑Management‑Regeln für dieselben 6 User‑Agenten, denn die Erlaubnis in robots.txt bedeutet nichts für einen Crawler, der einen 403 erhält. Führen Sie dann die Prüfung nach jeder Infrastrukturänderung erneut durch; ein Anbieter‑Migrations­schritt kann diesen Schalter umkehren, ohne Ihren Code zu berühren. 1 Hinweis, wie unser Audit die oben beschriebene bewusste Richtlinie liest: die weltweiten Verbot‑Anweisungen für GPTBot, ClaudeBot und CCBot werden weiterhin als Feststellung erscheinen. Das ist absichtlich. Ein sitewide AI-Crawler-Block sollte immer eine bestätigte Entscheidung sein, und die Feststellung ist, wo Sie ihn bestätigen — der Fehlermodus, den diese Prüfung erfassen soll, ist der Block, den sich niemand mehr erinnert, geschrieben zu haben.

Der günstigste Sichtbarkeits-Audit, den Sie in diesem Jahr durchführen werden

robots.txt ist 1 von 2 Dateien, über die Ihre Seite mit KI-Systemen kommuniziert — die andere ist llms.txt, wo unsere Daten zeigen 76% von Dateien die Agenten, für die sie geschrieben wurden, nicht erfüllen. Beide teilen die gleiche Fehlersignatur wie die Blöcke in diesem Bericht: einmal geschrieben, syntaktisch plausibel, nie zurückgelesen. Die Sites in unserer Stichprobe mit einer sauberen AI-Crawler-Postur waren nicht die größten oder am besten ausgestatteten. Sie waren die Sites, bei denen jemand die Datei seit 2023 geöffnet und die aktuelle Frage beantwortet hatte. Das Lesen Ihrer Datei dauert 2 Minuten; der kostenlose Bericht liest sie für Sie, benennt jeden der 6 Crawler und zeigt genau, welche Regel für jeden gilt — so ist die Entscheidung im Protokoll die, die Sie tatsächlich getroffen haben.