Webcrawler aussperren, die die robots.txt ignorierenAktualisiert für 2026: Schutz mit Rate Limits, WAF und sauberer Zugriffskontrolle
robots.txt formuliert Regeln für kooperierende Crawler. Ignoriert ein Bot diese Regeln, brauchen Sie eine kontrollierte Zugriffsbeschränkung auf Server-, CDN- oder Anwendungsebene – mit einer Prüfung der Nebenwirkungen.
Erst Zugriffe belegen, dann gezielt begrenzen. User-Agent-Namen sind leicht nachzuahmen; eine pauschale Bot-Sperre kann erwünschte Suchmaschinen und Prüfwerkzeuge treffen.
Was robots.txt kann und was nicht
Eine robots.txt-Datei ist keine Zugangskontrolle. Sie kann kooperierenden Crawlern mitteilen, welche Pfade sie nicht abrufen sollen. Vertrauliche Inhalte benötigen eine tatsächliche Zugriffsbeschränkung, beispielsweise eine passende Authentifizierung.
Auch eine Indexierungsentscheidung ist davon zu unterscheiden: Wenn ein Crawler eine Seite nicht abrufen darf, kann er eine dort hinterlegte noindex-Anweisung nicht lesen. Verwenden Sie Zugriffsschutz, Crawlsteuerung und Indexierungsregeln jeweils für ihre tatsächliche Aufgabe.
Die Zugriffe zunächst belegen
| Logbeobachtung | Zu klärende Frage |
|---|---|
| Viele Abrufe derselben teuren Suche | Wiederholt derselbe Client identische Anfragen? |
| Hohe Zahl aus einer IP-Adresse | Ist das ein Bot, Proxy oder gemeinsamer legitimer Zugang? |
| Bekannter Botname im User-Agent | Lässt sich die Herkunft nach dem Verfahren des Anbieters bestätigen? |
| Abrufe trotz robots.txt | Wurde die richtige Datei erfolgreich ausgeliefert und konnte eine neue Regel bereits übernommen werden? |
Eine begrenzte Schutzmaßnahme einführen
- Zeitraum, Pfade, Statuscodes, Anfrageraten und erkennbare Auswirkungen aus den Logs festhalten.
- Erwünschte Dienste anhand ihrer dokumentierten Identitätsprüfung von bloßen Namensangaben unterscheiden.
- Zunächst eng begrenzte Regeln für betroffene Pfade oder auffälliges Verhalten wählen.
- Bei einer Ratenbegrenzung Schwellen und Zeitraum an realen legitimen Zugriffen ausrichten.
- Nach Einführung Suchmaschinenabrufe, Kundenwege und Serverlast kontrollieren; eine Rücknahme ermöglichen.
Keine pauschale Sperrliste übernehmen
IP-Bereiche und Infrastrukturen ändern sich. Eine alte Liste kann unbeteiligte Nutzer treffen oder den eigentlichen Bot nicht mehr erreichen. Auch ein gefälschter Googlebot-Name darf nicht automatisch zu einer Ausnahme führen.
Testen Sie Regeln zunächst in einer geeigneten Umgebung beziehungsweise Beobachtungsphase. Ein unnötiger HTTP-403- oder 429-Status auf wichtigen Seiten kann die Erreichbarkeit erheblich beeinträchtigen.
Häufige Fragen
Kann ich einen Bot allein am Namen sicher erkennen?
Nein. Der User-Agent ist eine Selbstauskunft. Nutzen Sie für wichtige Anbieter deren dokumentierte Verifikationsverfahren.
Schützt robots.txt private Dateien?
Nein. Private Inhalte benötigen eine tatsächliche Zugriffsbeschränkung.