Kostenlos · ohne Anmeldung
robots.txt-Änderungen vor der Veröffentlichung testen
Sehen Sie vor einer Änderung, welche Ihrer URLs für einen Crawler neu gesperrt oder freigegeben würden. Verglichen werden die Regeln zweier Versionen gegen dieselbe URL-Auswahl – ohne Änderungen an Ihrer Website.
Regeländerung simulieren
Ergebnis und nächste Schritte
Die Folgen einer Regeländerung sichtbar machen
Ein zusätzliches Disallow kann einen internen Bereich sinnvoll sperren, aber auch wichtige Produkt- oder Kategorieseiten treffen. Der Simulator bewertet dieselbe URL-Liste mit der bisherigen und der geplanten Datei. Er zeigt neu gesperrte, neu freigegebene und unveränderte URLs sowie die jeweils ausschlaggebende Regel mit Zeilennummer.
Passende Prüfmenge auswählen
Nutzen Sie eine Liste wichtiger URLs oder importieren Sie eine Sitemap. Ein Sitemap-Index wird nur begrenzt verfolgt; nicht gelesene Dateien und abgeschnittene URL-Mengen werden genannt. Die Simulation ist deshalb immer eine Aussage über die ausgewählte Stichprobe, nicht über sämtliche denkbaren URLs Ihrer Website. Einträge anderer Ursprünge werden nicht fälschlich als erlaubt bewertet.
Beispiel: einen Katalog sperren, Produkte freigeben
Bei Disallow: /katalog/ und Allow: /katalog/produkte/ bleibt ein passender Produktpfad erlaubt, sofern die spezifischere Regel greift. Der Vergleich zeigt auch, ob eine neue User-Agent-Gruppe die bisherige Sternchen-Gruppe für Googlebot verdrängt. Query-Parameter, Groß-/Kleinschreibung und kodierte Pfade sollten mit realistischen Beispielen getestet werden.
Crawling und Indexierung unterscheiden
Eine robots.txt-Sperre ist kein noindex. Gesperrte URLs können unter Umständen weiterhin in Suchergebnissen erscheinen, während Google den Seiteninhalt nicht mehr abrufen kann. Der lokale Regeltest ersetzt keine Prüfung von HTTP-Status, Meta-Robots oder Canonicals. Grundlage: Googles robots.txt-Regeln.
Häufige Fragen
Ändert der Simulator meine robots.txt?
Nein. Er vergleicht ausschließlich die eingegebenen Versionen. Veröffentlichung und Serverkonfiguration bleiben bei Ihnen.
Warum reicht die Sitemap nicht als vollständiger Test?
Sie enthält nicht zwangsläufig alle erreichbaren URLs, Parameter oder Ressourcen. Zudem ist der Import auf sechs Dateien und 500 Vergleichs-URLs begrenzt.
Kann ich einen anderen Crawler wählen?
Ja. Die Gruppenauswahl nutzt den eingegebenen User-Agent. Ausgewertet werden die unterstützten Allow-/Disallow-Regeln nach dem vorhandenen Google-Regelmodell; anbieterspezifische Erweiterungen sind nicht enthalten.
Was bedeutet eine leere robots.txt?
Eine leere Datei enthält keine Sperrregel. Das ist als Vergleichsversion zulässig.
Seitenreport SEO Suite: Ihre Website als Ganzes prüfen
Prüfen Sie bis zu 20 URLs kostenlos. Für wiederkehrende Kontrollen und Veränderungen Ihrer Website lernen Sie die SEO Suite kennen.