robots.txt für KI-Crawler: KI-Suche, Training und Nutzerabrufe

KI-Crawler dienen 3 verschiedenen Zwecken, und die robots.txt steuert jeden davon über ein eigenes Token: Crawling für eine KI-Suche oder Antwortfunktion, das Sammeln von Seiten für das Modelltraining und das Abrufen einer Seite, weil eine Person eine Frage gestellt hat. Die meisten Websites wollen den ersten Zweck, entscheiden sich bewusst zum zweiten und können den dritten nur teilweise steuern. Eine einzelne Regel „KI blockieren“ wirft alles durcheinander, und meist bleibt dabei ausgerechnet die Sichtbarkeit in der KI-Suche auf der Strecke, die der Betreiber behalten wollte.

Die Tabelle folgt der Dokumentation der Betreiber selbst, Stand: Oktober 2026, und wird in unserer Referenz zu KI-Crawlern Crawler für Crawler nachgeführt.

Welches robots.txt-Token steuert welchen KI-Zweck?

Jedes Token ist von den anderen unabhängig. Laut OpenAI wirkt jede seiner Einstellungen für sich, eine Website kann also GPTBot ausschließen und trotzdem OAI-SearchBot zulassen, den Crawler hinter der ChatGPT-Suche. Lässt eine Website beide zu, nutzt OpenAI nach eigener Aussage unter Umständen 1 Crawl für beide Zwecke.

3 Zeilen verdienen einen genaueren Blick.

Manche Trainings-Crawler tun mehr als Training. Laut Meta crawlt Meta-ExternalAgent für Zwecke wie das Training von Foundation Models oder die Verbesserung von Produkten durch direktes Indexieren von Inhalten. Laut Amazon verbessert Amazonbot die Produkte und Dienste des Unternehmens und kann zum Training seiner KI-Modelle verwendet werden. Die Such-Agenten Meta-WebIndexer und Amzn-SearchBot haben eigene Tokens, und laut Amazon crawlt Amzn-SearchBot keine Inhalte für das Training generativer KI.

2 Tokens crawlen nie. Laut Google hat Google-Extended keinen eigenen User-Agent: Die bestehenden Crawler von Google rufen die Seite ab, und das Token entscheidet, ob die Inhalte künftige Gemini-Modelle trainieren und Antworten in den Gemini-Apps sowie in Grounding with Google Search auf Vertex AI fundieren dürfen. Google-Extended werden Sie nie in einem Server-Log sehen. Apple sagt dasselbe über Applebot-Extended: Applebot ruft ab, und das Token entscheidet nur, wie Apple das Gesammelte verwenden darf.

Von Nutzern ausgelöste Agenten liegen teilweise außerhalb der robots.txt. Laut OpenAI gelten robots.txt-Regeln für ChatGPT-User möglicherweise nicht, weil eine Person die Anfrage ausgelöst hat. Perplexity sagt, dass Perplexity-User steuert, auf welche Websites Nutzeranfragen zugreifen können, und zugleich, dass der Fetcher robots.txt-Regeln im Allgemeinen ignoriert. Meta und Amazon geben ähnliche Hinweise zu Meta-ExternalFetcher und Amzn-User. Anthropic ist die Ausnahme: Seine Aussage, dass seine Bots die robots.txt beachten, schließt Claude-User ein.

Welche Richtlinie passt zu Ihrer Website?

Beantworten Sie die Fragen der Reihe nach; jeder Pfad endet bei einer der Vorlagen unten.

flowchart TD
    A["Wollen Sie in Antworten der KI-Suche erscheinen?"] -->|ja| B["KI-Such-Tokens unter Ihren normalen Regeln lassen"]
    A -->|nein| C["KI-Such-Tokens ausschließen"]
    B --> D["Akzeptieren Sie Modelltraining mit Ihren öffentlichen Seiten?"]
    C --> D
    D -->|ja| E["Keine Trainingsgruppen nötig"]
    D -->|nein| F["GPTBot, ClaudeBot, CCBot, meta-externalagent und Amazonbot ausschließen"]
    F --> G["Auch das Training von Google und Apple ausschließen?"]
    G -->|ja| H["Google-Extended und Applebot-Extended ergänzen"]
    G -->|nein| I["Diese 2 Tokens weglassen"]
    E --> J["Müssen von Nutzern ausgelöste Abrufe abgewiesen werden?"]
    H --> J
    I --> J
    J -->|ja| K["Mit robots.txt allein geht das nicht: auf Server oder CDN durchsetzen"]
    J -->|nein| L["Datei veröffentlichen und live prüfen"]

Warum eine benannte Gruppe Pfade wieder öffnen kann, die Ihre Wildcard-Regeln gesperrt haben

Kennen Sie diese Abgleichregel, bevor Sie eine Vorlage kopieren. Googles robots.txt-Dokumentation und RFC 9309, der robots.txt-Standard, sind sich einig: Ein Crawler befolgt nur die spezifischste Gruppe, die ihn nennt, und ignoriert alle anderen Gruppen. Eine benannte Gruppe erbt die Regeln von User-agent: * nicht.

User-agent: *
Disallow: /cart/
Disallow: /account/

User-agent: OAI-SearchBot
Allow: /

Mit dieser Datei darf OAI-SearchBot /cart/ und /account/ crawlen, weil er nur seine eigene Gruppe liest. Die gut gemeinte Allow-Gruppe hat die Regeln für private Pfade für genau den Crawler aufgehoben, den sie nennt. Löschen Sie entweder die benannte Gruppe, damit der Crawler auf * zurückfällt, oder wiederholen Sie die privaten Pfade darin.

Weitere Abgleichregeln, die echte Dateien verändern:

• Mehrere User-agent-Zeilen können sich einen Regelsatz teilen; so bleibt eine lange Liste von KI-Tokens lesbar.
• Nennen 2 Gruppen denselben Crawler, werden ihre Regeln zusammengeführt. Eine benannte Gruppe wird nie mit * zusammengeführt.
• Token-Namen werden ohne Rücksicht auf Groß-/Kleinschreibung abgeglichen; Pfade dagegen unterscheiden sie, Disallow: /Cart/ deckt also /cart/ nicht ab.
• Der längste passende Pfad gewinnt. Bei Gleichstand zwischen Allow und Disallow verwendet Google die am wenigsten einschränkende Regel.
• Ein Crawler ohne benannte Gruppe und ohne *-Gruppe unterliegt überhaupt keinen Regeln.
• Jeder Host liefert seine eigene Datei aus: www.example.com und blog.example.com brauchen getrennte Regeln, und Anthropic bittet Betreiber, den Ausschluss auf jeder Subdomain einzutragen, die ausgeschlossen sein soll.
• Laut Apple folgt Applebot der Googlebot-Gruppe, wenn die robots.txt Googlebot nennt, Applebot aber nicht. Ob Applebot-Extended Regeln auf diese Weise erbt, sagt Apple nicht; nennen Sie es also ausdrücklich.

robots.txt zum Kopieren für die 3 gängigen Richtlinien

Jede Vorlage behält eine gewöhnliche *-Gruppe für private Pfade. Ersetzen Sie /cart/ und /account/ durch Ihre eigenen Pfade und die Sitemap-Adresse durch Ihre.

KI-Suche erlauben, Training ausschließen

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Die KI-Such-Crawler haben keine benannte Gruppe, folgen also * und bleiben ohne zusätzliche Zeilen aus den privaten Pfaden heraus. Das ist der sicherste Weg, sie zuzulassen. CCBot steht auf der Liste, weil Common Crawl sein Archiv Forschenden, Unternehmen und Einzelpersonen für Forschung und Analyse bereitstellt, was Training einschließt; streichen Sie ihn, wenn Ihre Seiten in diesem Archiv sein sollen. Wenn Sie die Produktzwecke von Meta oder Amazon wollen, entfernen Sie meta-externalagent oder Amazonbot, aus den nach der Tabelle genannten Gründen. Meta schreibt seine Tokens klein; übernehmen Sie diese Schreibweise.

Alle KI-Crawler erlauben

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

KI-spezifische Zeilen sind nicht nötig: Jeder Crawler ohne benannte Gruppe folgt *. Auch eine Website ganz ohne robots.txt ist offen, da eine fehlende Datei keine Regeln bedeutet, aber sie legt keine Richtlinie fest und nennt keine Sitemap. Bei 45 externen Websites, die SEOReport zwischen Mai und Oktober 2026 geprüft hat, hatten 3 (7 %) keine robots.txt.

KI-Crawler sperren, klassische Suche behalten

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

Dabei gelten 3 Einschränkungen. ChatGPT-User, Perplexity-User, meta-externalfetcher und Amzn-User folgen ihren Zeilen möglicherweise nicht. Jeder Agent, den Sie nicht nennen, auch solche, die nach Ihrer Veröffentlichung eingeführt werden, folgt *. Und Googles KI-Übersichten und der KI-Modus werden über Googlebot und die Snippet-Steuerung der Google Suche geregelt, nicht über eine Zeile in dieser Datei; die häufigen Fragen unten erklären diesen Fall.

Wenn eine robots.txt-Regel nicht genügt

RFC 9309 stellt klar, dass robots.txt-Regeln keine Form der Zugriffsautorisierung sind. Ein Crawler, der die Datei beachtet, bleibt draußen; alles andere kann die Seite trotzdem anfragen, und jeder Client kann den Namen eines Crawlers übernehmen. Muss eine Abweisung tatsächlich greifen, setzen Sie sie dort durch, wo die Anfragen ankommen: auf dem Server, im CDN oder in der Firewall. Die meisten Betreiber veröffentlichen dafür Listen ihrer IP-Adressen. Unsere Referenz nennt die Verifizierungsmethode jedes Betreibers und vermerkt, wo es keine gibt, wie bei Meta-ExternalAgent.

Dieselbe Ebene verursacht auch den umgekehrten Fehler. Eine Firewall- oder Bot-Schutz-Regel, die OAI-SearchBot eine Challenge vorsetzt, hebt ein Allow in der robots.txt wieder auf, und OpenAI empfiehlt Websites, die in der ChatGPT-Suche erscheinen wollen, Anfragen von den veröffentlichten Adressen zuzulassen. Unser Leitfaden zur Prüfung, ob Bot-Schutz den gewünschten Traffic aus der KI-Suche blockiert, geht diesen Abgleich durch.

So bestätigen Sie, dass die Live-Datei sagt, was Sie meinen

1. Rufen Sie die Datei so ab, wie ein Crawler es tut. Führen Sie curl -s https://www.example.com/robots.txt aus und lesen Sie den Live-Inhalt, nicht die Kopie in Ihrem Repository. Eine Hosting-Plattform oder ein CDN, das die robots.txt verwaltet, kann etwas anderes ausliefern. Prüfen Sie auch den Statuscode: Google behandelt eine 4xx-Antwort außer 429 so, als gäbe es keine robots.txt. Nach einem 5xx stellt Google das Crawling der Website für die ersten 12 Stunden ein und verwendet danach bis zu 30 Tage lang die letzte gültige Kopie.
2. Wiederholen Sie das auf jedem Host, der Seiten ausliefert: www, die Apex-Domain und jede Subdomain.
3. Lesen Sie jede benannte Gruppe für sich. Fragen Sie sich bei jedem gelisteten Token, was dieser Crawler abrufen dürfte, wenn diese Gruppe die einzige in der Datei wäre. Private Pfade, die in einer benannten Gruppe fehlen, stehen diesem Crawler offen.
4. Lassen Sie Zeit, bevor Sie urteilen. Laut OpenAI dauert es etwa 24 Stunden, bis eine Änderung in seinen Systemen ankommt; Perplexity und Meta nennen bis zu 24 Stunden. Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache. Amazon nennt etwa 24 Stunden und sagt außerdem, dass seine Agenten eine zwischengespeicherte Kopie aus den letzten 30 Tagen verwenden können.
5. Prüfen Sie Ihre Logs nach Token, dann nach Adresse. Gleichen Sie auf das Token ab, etwa GPTBot, statt auf den vollständigen User-Agent-String, und bestätigen Sie die Quelladresse anhand der veröffentlichten Liste des Betreibers.

Die robots.txt ist eine Datei auf Website-Ebene, die außerhalb jeder Seite liegt; eine Prüfung, die eine Seite nach der anderen liest, sieht sie daher nicht. Der Artikel was ein KI-Agent tatsächlich sieht, wenn er Ihre Seite prüft behandelt diese Lücke. Eine vollständige SEOReport-Diagnose liest Ihre robots.txt so, wie KI-Crawler es tun, und sagt Ihnen, ob die KI-Such-Crawler Sie erreichen können, getrennt von einem etwaigen Trainingsausschluss, den Sie gewählt haben. Sie liest die Regeln für GPTBot, ClaudeBot, CCBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot und Claude-User namentlich und meldet Bot-Schutz oder Challenges, die automatisierte Besucher aufhalten würden. Wie geprüfte Websites diese Regeln tatsächlich geschrieben haben, zeigen unsere Audit-Daten zu KI-Crawlern in der robots.txt; für die robots.txt jenseits von KI-Agenten lesen Sie den Leitfaden zu robots.txt und Crawling-Zugriff.

Häufige Fragen

Entfernt das Sperren von GPTBot meine Website aus der ChatGPT-Suche?

Nein. Laut OpenAI sind GPTBot und OAI-SearchBot voneinander unabhängige Einstellungen. GPTBot regelt das Training; OAI-SearchBot entscheidet, ob Ihre Seiten in Antworten der ChatGPT-Suche gezeigt werden können. Schließen Sie nur GPTBot aus, behält die ChatGPT-Suche den Zugriff, den sie braucht.

Hält das Sperren von Google-Extended meine Seiten aus den KI-Übersichten heraus?

Nein. Googles Dokumentation zu KI-Funktionen und Ihrer Website (Stand: Oktober 2026) nennt robots.txt-Regeln für Googlebot als Zugriffssteuerung und führt nosnippet, data-nosnippet, max-snippet und noindex als Mittel auf, um einzuschränken, was erscheint. Eine Seite muss indexiert und für ein Snippet geeignet sein, um als unterstützender Link in den KI-Übersichten oder im KI-Modus zu erscheinen. Google-Extended regelt Training und Grounding von Gemini, nicht die Funktionen der Google Suche.

Entfernt ein Trainingsausschluss Inhalte, die bereits gesammelt wurden?

Die Betreiberseiten, die wir verfolgen, beschreiben, was eine Regel ab dem Zeitpunkt signalisiert, zu dem sie gelesen wird. Anthropic etwa sagt, dass eine Einschränkung von ClaudeBot signalisiert, dass künftige Inhalte der Website vom Training ausgeschlossen werden sollen. Keiner von ihnen beschreibt, dass über die robots.txt früher gesammelte Inhalte entfernt werden. Common Crawl führt davon unabhängig ein Opt-Out Ledger der rechtlichen Ausschlussanträge, die es erhalten hat.

Brauche ich für jeden KI-Crawler eine Regel?

Nein. Nennen Sie nur die Agenten, die Sie anders behandeln wollen als *. Jeder nicht genannte Crawler folgt der *-Gruppe. Eine lange Liste benannter Gruppen ist nur dann sicherer, wenn jede Gruppe die privaten Pfade enthält, die sie braucht.