Robots.txt und Crawl-Zugriff: Sicherstellen, dass Crawler Sie erreichen können

Bevor ein Suchmaschinen-Engine eine Seite auswerten kann, muss sie sie herunterladen. Der Crawl-Zugriff ist diese erste Anfrage, und er hängt von 3 Dingen ab, die übereinstimmen: robots.txt erlaubt den Pfad, der Server liefert echtes HTML, und keine Schutzschicht unterbindet die Anfrage auf dem Weg. Bot-Schutz ist die am schnellsten wachsende Quelle für versehentliche Blockierungen. Eine Firewall-Regel, die gegen Scraper abgestimmt ist, fängt regelmäßig Googlebot, Bingbot und die KI-Crawler zusammen mit ihnen. Die Seite ist im Browser perfekt nutzbar, während der Crawler eine Challenge-Seite, einen 403 oder ein JavaScript-Interstitial erhält. Da die Antwort technisch erfolgreich ist, bleibt die Verfügbarkeitsüberwachung grün. Weiche 404s verursachen das Spiegelbildproblem: Der Server liefert 200 zusammen mit einer Seite, die besagt, dass der Inhalt fehlt, sodass Suchmaschinen einen Fehlerzustand als Inhalt speichern und die echte Seite nicht mehr gecrawlt wird. Robots.txt selbst verdient Sorgfalt. Ein einzelnes site-wide Disallow, das von einer Staging-Umgebung übrig geblieben ist, entfernt eine ganze Domain aus der Suche. Die Datei wird ständig abgerufen und kurzzeitig im Cache gehalten, sodass ein Fehler innerhalb von Stunden verbreitet wird und eine Korrektur genauso schnell propagiert. Testen Sie den Zugriff so, wie ein externer Crawler es tun würde, ohne Cookies, ohne warmen Cache und ohne angemeldete Sitzung, denn das ist die Anfrage, die Suchmaschinen tatsächlich stellen.

Die kostenpflichtige Diagnose von SEOReport prüft dieses Thema auf den Seiten Ihrer eigenen Website, zeigt die Belege für jeden Befund und ordnet die Korrekturen nach Priorität. Pläne und Preise ansehen.