Zum Inhalt springen
Aggressive Webcrawler begrenzen KI-generierte Illustration
Technik Bots Crawling

Webcrawler aussperren, die die robots.txt ignorierenAktualisiert für 2026: Schutz mit Rate Limits, WAF und sauberer Zugriffskontrolle

Veröffentlicht:
·
Aktualisiert:
·
ursprünglich 0 Kommentare

robots.txt formuliert Regeln für kooperierende Crawler. Ignoriert ein Bot diese Regeln, brauchen Sie eine kontrollierte Zugriffsbeschränkung auf Server-, CDN- oder Anwendungsebene – mit einer Prüfung der Nebenwirkungen.

Kurzfassung

Erst Zugriffe belegen, dann gezielt begrenzen. User-Agent-Namen sind leicht nachzuahmen; eine pauschale Bot-Sperre kann erwünschte Suchmaschinen und Prüfwerkzeuge treffen.

Was robots.txt kann und was nicht

Eine robots.txt-Datei ist keine Zugangskontrolle. Sie kann kooperierenden Crawlern mitteilen, welche Pfade sie nicht abrufen sollen. Vertrauliche Inhalte benötigen eine tatsächliche Zugriffsbeschränkung, beispielsweise eine passende Authentifizierung.

Auch eine Indexierungsentscheidung ist davon zu unterscheiden: Wenn ein Crawler eine Seite nicht abrufen darf, kann er eine dort hinterlegte noindex-Anweisung nicht lesen. Verwenden Sie Zugriffsschutz, Crawlsteuerung und Indexierungsregeln jeweils für ihre tatsächliche Aufgabe.

Die Zugriffe zunächst belegen

Logbeobachtung Zu klärende Frage
Viele Abrufe derselben teuren Suche Wiederholt derselbe Client identische Anfragen?
Hohe Zahl aus einer IP-Adresse Ist das ein Bot, Proxy oder gemeinsamer legitimer Zugang?
Bekannter Botname im User-Agent Lässt sich die Herkunft nach dem Verfahren des Anbieters bestätigen?
Abrufe trotz robots.txt Wurde die richtige Datei erfolgreich ausgeliefert und konnte eine neue Regel bereits übernommen werden?

Eine begrenzte Schutzmaßnahme einführen

  1. Zeitraum, Pfade, Statuscodes, Anfrageraten und erkennbare Auswirkungen aus den Logs festhalten.
  2. Erwünschte Dienste anhand ihrer dokumentierten Identitätsprüfung von bloßen Namensangaben unterscheiden.
  3. Zunächst eng begrenzte Regeln für betroffene Pfade oder auffälliges Verhalten wählen.
  4. Bei einer Ratenbegrenzung Schwellen und Zeitraum an realen legitimen Zugriffen ausrichten.
  5. Nach Einführung Suchmaschinenabrufe, Kundenwege und Serverlast kontrollieren; eine Rücknahme ermöglichen.

Keine pauschale Sperrliste übernehmen

IP-Bereiche und Infrastrukturen ändern sich. Eine alte Liste kann unbeteiligte Nutzer treffen oder den eigentlichen Bot nicht mehr erreichen. Auch ein gefälschter Googlebot-Name darf nicht automatisch zu einer Ausnahme führen.

Testen Sie Regeln zunächst in einer geeigneten Umgebung beziehungsweise Beobachtungsphase. Ein unnötiger HTTP-403- oder 429-Status auf wichtigen Seiten kann die Erreichbarkeit erheblich beeinträchtigen.

Häufige Fragen

Kann ich einen Bot allein am Namen sicher erkennen?

Nein. Der User-Agent ist eine Selbstauskunft. Nutzen Sie für wichtige Anbieter deren dokumentierte Verifikationsverfahren.

Schützt robots.txt private Dateien?

Nein. Private Inhalte benötigen eine tatsächliche Zugriffsbeschränkung.

Weiterführende Originalquellen

Google: Einführung in robots.txt

Googlebot und Verifikation

Passende Anleitungen zum Weiterarbeiten