Prüfen Sie, ob der Bot-Schutz den gewünschten KI-Suchverkehr blockiert
Überprüfen Sie den vorgesehenen Anbieter, die Live-Antwort und die Richtlinie, die sie steuert. Trennen Sie Suchabruf, Modelltraining und benutzerbezogenen Zugriff, bevor Sie Bot-Regeln ändern.
Ein Seitenbetreiber kann die Suchentdeckung zulassen und dennoch einen Bericht erhalten, dass eine Anfrage blockiert wurde. Die scheinbare Widersprüchlichkeit lässt sich mit der genauen Anfrage klären: welcher Anbieter versuchte, welche Seite zu erreichen, zu welchem Zweck, und welche Antwort erhielt er?
Eine SEOReport-Analyse kann Beweise für ein Zugriffsproblem liefern, das untersucht werden muss. Behandeln Sie diese Beobachtung als Ausgangspunkt einer Diagnose. Die Richtlinie für einen bestimmten Anbieter und das Verhalten einer bestimmten Anfrage sind beide wichtig.
Entscheiden Sie, welchen Zweck Sie zulassen möchten
KI-Dienste verwenden unterschiedliche Agenten für verschiedene Aufgaben. OpenAI dokumentiert OAI-SearchBot für die Suche, GPTBot für potenzielle Modelltrainingssammlung und ChatGPT-User für benutzerbezogene Anfragen. Seine Crawler-Dokumentation erklärt, dass Such- und Trainingseinstellungen unabhängig sind.
Anthropics Crawler-Dokumentation unterscheidet ebenfalls Claude-SearchBot, ClaudeBot und Claude-User. Dokumentieren Sie die beabsichtigte Wahl für den Anbieter und den Zweck, der Ihnen wichtig ist. Das Ablehnen von Training ist kein Grund, die Suchrichtlinie der Seite als fehlerhaft zu kennzeichnen.
Für Google verifizieren Sie die Search generative AI control auf der korrekten Search Console-Eigenschaft. Es ist eine teilnehmende Wahl auf Kontobasis zusätzlich zum technischen Zustand der Seite. Prüfen Sie geerbte Einstellungen sowie explizite Entscheidungen.
Vergleichen Sie die Richtlinie mit der gelieferten Antwort
Überprüfen Sie die öffentliche robots.txt, die Hosting- oder CDN-Regeln und die tatsächliche Seitenantwort. Sie beantworten unterschiedliche Fragen. Robots.txt deklariert die Crawler-Richtlinie; eine Zugriffsregel kann verhindern, dass eine erlaubte Anfrage die Seite erhält.
Untersuchen Sie ein repräsentatives wichtiges URL und protokollieren Sie das beobachtete endgültige Ziel, den Status und den Inhalt. Eine Challenge-Seite, die mit einem erfolgreichen Status ausgeliefert wird, ist immer noch eine Challenge-Seite. Im Gegensatz dazu stellt ein CAPTCHA-Widget auf einem funktionierenden Kontaktformular nicht fest, dass die gesamte Seite blockiert wurde.
Unser crawl-access guide hilft dabei, die Überprüfung der beabsichtigten Richtlinie und der betroffenen URLs zu organisieren.
| Ein identifizierter Suchanbieter erhält eine Herausforderung | Dass die beobachtete Anfrage die beabsichtigte Seite nicht abrufen konnte | Welche Regel dafür verantwortlich war und ob das Verhalten sich wiederholt |
| Eine lokale Testanfrage erhält ein 403 | Die Testanfrage wurde abgelehnt | Ob ein verifizierter Anbieter dieselbe Antwort erhält |
| Eine Seite enthält ein CAPTCHA-Widget | Die Seite enthält eine menschliche Verifizierungssteuerung | Ob der angeforderte Inhalt tatsächlich zurückgehalten wurde |
| Robots.txt erlaubt dem beabsichtigten Crawler | Die deklarierte Crawl-Richtlinie erlaubt den Zugriff | Ob Hosting-Regeln die Seite liefern |
Dies sind illustrative Interpretationen. Bewahren Sie die reale Beobachtung neben der tatsächlichen Regeluntersuchung.
Überprüfen Sie die Identität des Anbieters, bevor Sie eine Ausnahme ändern
Ein User-Agent-Label ist leicht zu kopieren. Verwenden Sie die dokumentierte Identifikationsrichtlinie des Anbieters und die unterstützten Verifizierungswerkzeuge Ihres Hosting-Anbieters, wenn Sie entscheiden, ob Sie den Verkehr zulassen. Ein Test mit einem kopierten Label kann aufzeigen, wie diese Anfrage behandelt wird, kann jedoch nicht beweisen, dass die Anfrage vom Anbieter kam.
Bevorzugen Sie die kleinste Änderung, die die beabsichtigte Richtlinie implementiert. Ein legitimes Suchzugangsproblem erfordert nicht, dass jede Schutzmaßnahme von einer Website entfernt wird. Bewahren Sie die Authentifizierung und die Grenzen der Kundendaten intakt, und verifizieren Sie anschließend, dass der beabsichtigte öffentliche Inhalt dem vorgesehenen Leser zugestellt wird.
Überprüfen Sie erneut nach einer Hosting- oder Richtlinienänderung
Speichern Sie die ursprüngliche Beobachtung, protokollieren Sie die geänderte Einstellung und wiederholen Sie die relevante Anfrage. Fügen Sie den Seiteninhalt in die Prüfung ein, damit ein geänderter Statuscode keine Herausforderung oder leere Antwort verbergen kann.
Anbieter-Standardeinstellungen und Kontoeinstellungen können sich ändern. Lesen Sie die aktuelle Einstellung auf der tatsächlichen Website, anstatt sie aus einer Ankündigung des Anbieters oder einer Konfigurationsdatei im Repository abzuleiten. Auf einer verwalteten Plattform bestätigen Sie außerdem, welche Schicht die öffentliche robots.txt bereitstellt.
Der breitere Agent Acceptance Test erweitert diese Überprüfung von der Seitenlesung zu einer ausgeführten, erlaubten Aufgabe. Suchzugriff, nutzbarer Inhalt und eine erfolgreiche Aktion benötigen jeweils ihre eigene Beobachtung.
Beobachten Sie die Entdeckung nach Bestätigung des Zugriffs
Sobald der beabsichtigte Leser die Seite abrufen kann, berücksichtigen Sie die Verarbeitungs- und Berichtverzögerungen des Anbieters. Prüfen Sie dedizierte KI-Eindrücke oder Zitate, wo verfügbar, identifizierbare Verweisbesuche und nützliche Produktaktionen separat.
Wiederhergestellter Zugriff stellt eine technische Reparatur dar. Ein späteres Zitat oder ein Kundenbesuch ergibt ein anderes Ergebnis. Beide Aufzeichnungen zu behalten gibt dem Team eine verteidigbare Darstellung dessen, was verbessert wurde und wo weitere Arbeit wertvoll sein könnte.
Erhalten Sie die vollständige Diagnose Ihrer Website
Ein belegter Bericht und ein priorisierter Aktionsplan – in einem Plan mit monatlichen Credits.