Kostenlos · ohne Anmeldung
Welche URLs sperrt Ihre robots.txt wirklich?
Fügen Sie Ihre robots.txt ein und prüfen Sie konkrete URLs gegen die Regeln. Der Tester zeigt, welche Bot-Gruppe und welche Regel den Ausschlag geben.
Verarbeitung direkt in Ihrem Browser · kein Datei-Upload · kein Konto erforderlich
Allow und Disallow nachvollziehen
Der Tester wählt die spezifischste passende User-Agent-Gruppe. Mehrere gleich spezifische Gruppen werden zusammen ausgewertet; eine passende spezifische Gruppe übernimmt keine Regeln aus der allgemeinen *-Gruppe. Gibt es keine passende Sperre, ist das Crawling nach diesen Regeln erlaubt.
Bei mehreren passenden Regeln entscheidet die längste Regel. Bei gleicher Länge gewinnt Allow. Pfade unterscheiden Groß- und Kleinschreibung. * steht für beliebige Zeichen und $ für das Ende der URL. Query-Parameter gehören zum Abgleich; ein Fragment hinter # nicht. Der Ergebnisbereich nennt die ausschlaggebende Regel mit ihrer Zeile.
Crawling-Erlaubnis ist keine Indexierungszusage
Dieses Tool bewertet ausschließlich den eingefügten Text. Es ruft Ihre echte robots.txt nicht ab und simuliert weder HTTP-Status, Google-Cache noch Erreichbarkeit. Eine erlaubte URL kann durch noindex ausgeschlossen sein. Eine gesperrte URL kann wiederum als bekannte URL im Index auftauchen, obwohl Google ihren Inhalt nicht abrufen darf.
noindex und crawl-delay in einer robots.txt werden für diesen Google-Regeltest nicht ausgewertet. Solche Angaben erscheinen als Hinweise. Verwenden Sie den robots.txt-Checker für die veröffentlichte Datei und den Meta-Robots-Checker für Indexierungssignale einzelner Seiten. Fachliche Grundlage: Google-Spezifikation für robots.txt.
Häufige Fragen
Wird meine veröffentlichte robots.txt geändert?
Nein. Der Regeltest arbeitet mit dem eingefügten Text. Er lädt keine Änderung hoch und ruft auch Ihre Website nicht auf.
Warum bleibt eine PDF mit Query-Parameter erlaubt?
Eine Regel wie Disallow: /*.pdf$ trifft nur, wenn die URL einschließlich Query mit .pdf endet. /datei.pdf?version=2 erfüllt diese Endbedingung nicht.
Ist eine erlaubte URL automatisch indexierbar?
Nein. Der Tester bewertet die Crawling-Regeln aus robots.txt. HTTP-Status, noindex, Canonicals, Inhalt und weitere Voraussetzungen werden damit nicht geprüft.
Seitenreport SEO Suite: Ihre Website als Ganzes prüfen
Prüfen Sie bis zu 20 URLs kostenlos. Für wiederkehrende Kontrollen und Veränderungen Ihrer Website lernen Sie die SEO Suite kennen.