Indexiert, obwohl durch robots.txt-Datei blockiert: Bedeutung und Lösung

„Indexiert, obwohl durch robots.txt-Datei blockiert“ bedeutet, dass Google eine URL in den Index aufgenommen hat, ohne die Seite zu lesen: Ihre robots.txt verbietet das Crawling, aber es verweisen weiterhin Links auf die URL. Das Suchergebnis erscheint meist mit wenig oder gar keiner Beschreibung. Ob das ein Problem ist, hängt von einer einzigen Entscheidung ab: Soll die Seite ranken, entfernen Sie die Sperre; soll sie aus der Suche herausbleiben, ist die robots.txt das falsche Werkzeug, und die Lösung besteht darin, das Crawling zu erlauben und noindex zu verwenden.

In der englischen Oberfläche der Search Console heißt derselbe Status „Indexed, though blocked by robots.txt“.

Was der Status laut Google bedeutet

Googles Dokumentation zum Bericht zur Seitenindexierung (Stand: Oktober 2026) beschreibt den Status in einem Satz: Die Seite wurde indexiert, obwohl sie durch die robots.txt-Datei der Website blockiert ist. Ergänzend heißt es, dass Google die robots.txt immer beachtet, dies eine Indexierung aber nicht unbedingt verhindert, wenn jemand anderes auf die Seite verlinkt: Google fragt die Seite nicht an und indexiert die URL anhand von Informationen der Seite, die auf sie verlinkt.

Google ordnet diesen Status den Warnungen zu, nicht den Fehlern. Laut der Dokumentation verhindern Warnungen nicht, dass eine Seite indexiert wird, schränken aber Googles Fähigkeit ein, sie zu verstehen und zu indexieren. Die URL ist im Index. Es fehlt alles, was Google durch den Abruf erfahren hätte: der Title so, wie Sie ihn geschrieben haben, der Text, die strukturierten Daten und ein etwaiges Robots-Meta-Tag.

Laut der Dokumentation ist ein Snippet für eine solche Seite wahrscheinlich sehr begrenzt. Googles Einführung in die robots.txt ist deutlicher: Eine blockierte URL kann trotzdem in den Ergebnissen erscheinen, aber das Ergebnis hat dann keine Beschreibung.

Wie eine blockierte Seite in den Index gelangt

Die robots.txt steuert das Crawling, nicht die Indexierung. Googles eigene Einführung in die robots.txt sagt, sie diene hauptsächlich dazu, eine Website nicht mit Anfragen zu überlasten, und sei kein Mechanismus, um eine Seite aus Google herauszuhalten.

sequenceDiagram
    participant L as Link auf die URL
    participant G as Googlebot
    participant R as robots.txt
    participant I as Google-Index
    L->>G: URL gefunden
    G->>R: Ist dieser Pfad erlaubt?
    R-->>G: Disallow trifft zu
    Note over G: Seite nie abgerufen, ein noindex bleibt also ungelesen
    G->>I: URL anhand von Linksignalen indexiert
    I-->>I: Gelistet mit wenig oder keiner Beschreibung

Deshalb geht ein gut gemeintes Setup nach hinten los. Ein Team will eine Seite aus der Suche haben, setzt ein noindex-Tag und sperrt den Pfad zur Sicherheit zusätzlich in der robots.txt. Die Sperre verhindert, dass Google die Seite abruft, und so wird das noindex nie gelesen. Googles Dokumentation zum Blockieren der Indexierung sagt es deutlich: Damit noindex wirkt, darf die Seite nicht durch die robots.txt blockiert sein.

Die 5 häufigsten Ursachen

1. Eine bewusste Sperre für Seiten, auf die weiterhin verlinkt wird. Interne Suchergebnisse, gefilterte und sortierte Listen-URLs, Warenkorb- und Kontoseiten sowie Admin-Pfade werden routinemäßig ausgeschlossen. Verlinken Ihre Navigation, Ihre Sitemap oder eine andere Website auf sie, erfährt Google, dass es diese URLs gibt, und indexiert womöglich einige davon. WordPress etwa erzeugt eine robots.txt, die den Admin-Pfad ausschließt, wenn die Website keine eigene robots.txt-Datei hat; eine verlinkte Admin-URL kann daher mit diesem Status erscheinen.

2. noindex und Disallow auf derselben Seite. Das ist das oben beschriebene Setup: 2 Anweisungen für 1 URL. Es führt genau zu dem Ergebnis, das es verhindern sollte.

3. Eine Regel, die breiter greift als beabsichtigt. Pfade in der robots.txt werden ab dem Anfang des URL-Pfads abgeglichen, und der Abgleich unterscheidet Groß- und Kleinschreibung. Disallow: /shop blockiert /shop/, aber auch /shop-guide/ und /shopping-tips/. Ein kurzes Präfix, das für einen Bereich geschrieben wurde, kann Inhaltsseiten in einem anderen erfassen.

4. Die Sitemap listet blockierte URLs. Eine Sitemap sagt Google, dass eine URL existiert und wichtig ist, und die robots.txt verbietet dann das Crawling. Bei 29 externen Websites, die für ein SEOReport-Audit eingereicht wurden und deren Sitemap-Seiten wir zwischen Mai und Oktober 2026 abgerufen haben, listeten 2 (7 %) in ihrer Sitemap URLs, die ihre eigene robots.txt ausschließt. Bei denselben 29 Websites hatten 8 (28 %) mindestens eine Sitemap-URL, die weiterleitet, als noindex markiert ist oder durch die robots.txt blockiert wird.

5. Eine websiteweite Sperre, nachdem die Website bereits indexiert war. Eine Staging-robots.txt mit Disallow: /, die in die Produktion kopiert wird, entfernt keine Seiten, die Google bereits kennt. Sie können mit wenig oder keiner Beschreibung gelistet bleiben, weil Google sie nicht mehr lesen kann.

Ist das ein Problem? Beheben, anders beheben oder belassen

Die Antwort hängt davon ab, wofür die Seite da ist, nicht vom Status selbst.

Die dritte Zeile ist eine echte Abwägung. Wer Millionen Parameter-URLs sperrt, um seinen Server zu schützen, und sie freigibt, damit Google ein noindex lesen kann, lädt genau das Crawling ein, das er vermeiden wollte. Eine Handvoll solcher URLs in dieser Warnung ohne Impressionen ist meist hinnehmbar. Eine Inhaltsseite mit diesem Status muss dagegen immer behoben werden: Google hat sie nicht gelesen, und sie erscheint ohne Beschreibung, die zum Klick einladen könnte.

flowchart TD
    A["Indexiert, obwohl durch robots.txt-Datei blockiert"] --> B{"Soll diese Seite in der Suche erscheinen?"}
    B -->|ja| C["Die blockierende Regel finden"]
    C --> D["Seite auf ein verstecktes noindex prüfen"]
    D --> E["Regel entfernen oder eingrenzen"]
    B -->|nein| F{"Dient die Sperre der Begrenzung der Crawling-Last?"}
    F -->|nein| G["Crawling erlauben und noindex ergänzen"]
    F -->|ja| H["Belassen, nicht mehr verlinken, aus der Sitemap nehmen"]
    G --> I["Optional: Entfernungen-Tool für etwa 6 Monate"]
    E --> J["Fehlerbehebung in der Search Console überprüfen"]
    G --> J

So bestätigen Sie die Ursache für eine bestimmte URL

Führen Sie die URL-Prüfung für die betroffene URL aus. In den Details zur Seitenindexierung zeigt „Crawling zulässig?“, ob eine robots.txt-Regel Google blockiert, und in einem Live-Test zeigt „Seitenabruf“ bei einer blockierten URL einen Fehler. „Verweisende Seite“ und „Sitemaps“ im selben Abschnitt zeigen, wie Google die URL möglicherweise gefunden hat, und damit, welcher Link oder Sitemap-Eintrag sie bekannt hält. Ignorieren Sie hier „Indexierung zulässig?“: Laut Googles Hilfe zeigt das Feld bei einer blockierten Seite immer „Ja“, weil Google ein noindex auf einer Seite, die es nicht abrufen darf, nicht sehen kann.

Finden Sie die genaue Regel. Öffnen Sie die robots.txt im Stammverzeichnis genau des Hosts, Protokolls und Ports, über den die URL ausgeliefert wird, denn die Regeln jeder Datei gelten nur dort:

curl -s https://www.example.com/robots.txt

Lesen Sie sie dann so, wie Google es laut seiner robots.txt-Spezifikation tut:

• Googlebot folgt nur der spezifischsten passenden User-agent-Gruppe. Enthält Ihre Datei eine Gruppe User-agent: Googlebot, wird die Gruppe User-agent: * für Googlebot vollständig ignoriert.
• Innerhalb dieser Gruppe gewinnt die Regel mit dem längsten passenden Pfad. Passen ein Allow und ein Disallow gleich gut, verwendet Google die weniger einschränkende Regel.
• * steht für eine beliebige Zeichenfolge, und $ markiert das Ende der URL.

Der robots.txt-Bericht der Search Console listet die robots.txt-Dateien, die Google für die 20 wichtigsten Hosts Ihrer Website gefunden hat, wann jede zuletzt gecrawlt wurde und etwaige Warnungen oder Fehler darin. So erkennen Sie den Fall, dass Google eine andere Version liest als die, die Sie gerade bearbeiten.

Prüfen Sie, was hinter der Sperre liegt. Bevor Sie etwas freigeben, sehen Sie sich an, was Google sehen wird, sobald es die Seite abrufen kann:

curl -sI https://www.example.com/page/ | grep -i x-robots-tag
curl -s https://www.example.com/page/ | grep -i '<meta name="robots"'

Eine Seite, die seit Monaten blockiert ist, kann ein vergessenes noindex, eine Weiterleitung oder eine 404 enthalten, die niemandem aufgefallen ist, weil niemand sie sehen konnte.

Die Lösung für jeden Fall

Die Seite soll indexiert werden. Löschen Sie die Disallow-Regel oder grenzen Sie sie ein. Wo eine breite Regel weiterhin nötig ist, ergänzen Sie für die Seiten, die gecrawlt werden sollen, eine längere Allow-Regel:

User-agent: *
Disallow: /shop/
Allow: /shop/guides/

/shop/guides/ ist der längere Treffer und gewinnt daher für diese URLs, während der Rest von /shop/ gesperrt bleibt. Behalten Sie die URL in Ihrer Sitemap und in Ihren internen Links.

Die Seite soll aus der Suche herausbleiben. Entfernen Sie die Disallow-Regel für diese Seite und ergänzen Sie eine noindex-Anweisung:

<meta name="robots" content="noindex">

Bei PDFs und anderen Nicht-HTML-Dateien senden Sie die Anweisung stattdessen als Response-Header:

X-Robots-Tag: noindex

Entfernen Sie die URL außerdem aus Ihrer Sitemap. Sobald Google die Seite erneut crawlt und das noindex liest, verlässt die URL den Index und wechselt in der Gruppe „Nicht indexiert“ zu URL als „noindex“ markiert; das ist der korrekte Endzustand. Lassen Sie die Seite crawlbar. Sperren Sie sie erneut, wird das noindex unsichtbar, und Links können die URL mit derselben Warnung zurückbringen. Die Seite mit 404 oder 410 zu löschen oder hinter einen Login zu stellen, sind die anderen dauerhaften Optionen, die Google nennt. Das Tool „Entfernungen“ in der Search Console blendet eine URL für etwa 6 Monate aus; laut Googles Hilfe ist das Tool allein keine dauerhafte Entfernung.

Die Sperre dient der Steuerung des Crawlings. Belassen Sie die Regel, verlinken Sie aus Ihren Templates nicht mehr auf diese URLs und halten Sie sie aus der Sitemap heraus, damit Sie nicht bewerben, was Sie verbieten.

So prüfen Sie die Korrektur

Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache. Nach einer Änderung der Datei können Sie über den robots.txt-Bericht ein erneutes Crawling der Datei anfordern. Führen Sie dann in der URL-Prüfung einen Live-Test aus: „Crawling zulässig?“ sollte jetzt „Ja“ anzeigen. Für eine Seite, die indexiert werden soll, nutzen Sie „Indexierung beantragen“.

Wenn jede betroffene URL behandelt ist, öffnen Sie das Problem im Bericht zur Seitenindexierung und klicken auf „Fehlerbehebung überprüfen“. Laut Googles Dokumentation dauert die Validierung in der Regel bis zu etwa zwei Wochen und kann deutlich länger dauern. Rechnen Sie mit Tagen bis Wochen, bis die Zahl sinkt, und klicken Sie nicht erneut auf „Fehlerbehebung überprüfen“, bevor die laufende Validierung bestanden oder fehlgeschlagen ist.

Der Status fällt im Browser oder im Chat mit einem Assistenten leicht durchs Raster, weil die Seite selbst normal aussieht; der Konflikt steckt in einer separaten Datei. Diese Lücke erklärt der Artikel was ein KI-Agent tatsächlich sieht, wenn er Ihre Seite prüft. Die Search Console zeigt Ihnen, welche URLs betroffen sind. Eine vollständige SEOReport-Diagnose gleicht die Seiten, die Ihre Sitemap listet, mit den Regeln ab, die Ihre robots.txt für alle Crawler festlegt, und nennt die Seiten, die Ihre Sitemap bewirbt, während die robots.txt sie blockiert. Genau dieser Widerspruch steckt hinter vielen URLs, die indexiert werden, ohne gecrawlt worden zu sein. Außerdem meldet sie ein websiteweites Disallow.

Häufige Fragen

Entfernt Google eine blockierte Seite von selbst aus der Suche?

Nicht zuverlässig. Google beachtet die Sperre und kann daher nichts lesen, was ihm sagen würde, die Seite zu entfernen, und Links halten die URL bekannt. Verwenden Sie noindex auf einer crawlbaren Seite, eine 404 oder 410 oder einen Passwortschutz.

Schadet dieser Status dem Rest meiner Website?

Googles Dokumentation beschreibt keine Auswirkung auf andere Seiten. Die Kosten sind lokal: eine indexierte URL mit wenig oder keiner Beschreibung oder eine Seite, die verborgen bleiben sollte und trotzdem gelistet ist. Bei URLs zur Crawling-Steuerung ohne Präsenz in der Suche ist die Warnung weitgehend kosmetisch.

Was ist der Unterschied zu „URL wird von der robots.txt-Datei blockiert“?

Beide entstehen durch dieselbe Art von Regel. „URL wird von der robots.txt-Datei blockiert“ steht in der Gruppe „Nicht indexiert“: Google hat die Sperre beachtet und die URL nicht indexiert. „Indexiert, obwohl durch robots.txt-Datei blockiert“ ist eine Warnung: Google hat die URL trotzdem indexiert, weil etwas auf sie verweist. Unser Leitfaden zu robots.txt und Crawling-Zugriff behandelt die Regeln selbst.

Kann ich noindex in der robots.txt verwenden?

Nein. Googles robots.txt-Spezifikation unterstützt nur vier Felder: user-agent, allow, disallow und sitemap. Eine noindex-Zeile darin wird also ignoriert. Setzen Sie noindex in das Robots-Meta-Tag der Seite oder in einen X-Robots-Tag-Response-Header, und zwar auf einer URL, die Google crawlen darf.

Warum wird der Status noch angezeigt, nachdem ich die Regel entfernt habe?

Google muss die robots.txt erneut abrufen, jede URL neu crawlen und dann den Bericht aktualisieren. Zeigt ein Live-Test in der URL-Prüfung bei „Crawling zulässig?“ ein „Ja“, wird der Bericht nachziehen. Der Leitfaden zur Indexierbarkeit von Seiten und unsere Analyse von Indexierbarkeitskonflikten zwischen noindex, robots.txt und Canonicals behandeln die verwandten Signale.