Sitemap und robots.txt im AuditWie XML-Sitemap und robots.txt zusammen mit Indexierung und Crawl-Steuerung bewertet werden
Sitemap und robots.txt senden Suchmaschinen wichtige Hinweise: welche URLs bekannt sein sollen und welche Bereiche nicht gecrawlt werden dürfen. Im Audit zählt vor allem, ob diese Signale zur gewünschten Indexierung passen.
Eine saubere Sitemap hilft beim Finden wichtiger URLs; eine saubere robots.txt verhindert unbeabsichtigte Blockaden.
Welche Aufgabe Sitemap und robots.txt erfüllen
Die XML-Sitemap ist eine Einladung an Suchmaschinen, wichtige URLs zu entdecken. Die robots.txt ist eine Crawling-Regel, die Zugriffe auf bestimmte Bereiche erlauben oder verhindern kann.
Beide Dateien sind keine isolierten SEO-Tricks. Sie müssen zur Indexierungsstrategie der Website passen und dürfen anderen Signalen nicht widersprechen.
- Sitemap listet wichtige kanonische URLs
- robots.txt steuert Crawl-Zugriff
- lastmod kann Änderungen nachvollziehbarer machen
- Blockaden müssen bewusst und dokumentiert sein
Welche Prüfungen im Audit wichtig sind
Prüfen Sie zuerst Erreichbarkeit und Inhalt. Eine Sitemap mit 200-Status ist nur dann hilfreich, wenn sie indexierbare, kanonische und relevante URLs enthält.
Bei der robots.txt zählt nicht nur, ob sie existiert, sondern ob sie wichtige Inhalte oder Ressourcen versehentlich sperrt.
- Sitemap erreichbar und valide
- Sitemap enthält keine 404-, Redirect- oder noindex-URLs
- robots.txt blockiert keine wichtigen Seiten oder Assets
- Sitemap-Verweis in robots.txt ist korrekt
Häufige Konflikte zwischen Sitemap und robots.txt
Kritisch sind Widersprüche: Eine URL steht in der Sitemap, wird aber blockiert oder ist nicht indexierbar. Solche Signale erschweren Suchmaschinen die Bewertung und verschwenden Crawl-Aufmerksamkeit.
Auch alte Relaunch-URLs oder Parameter können Sitemaps aufblähen und die Auswertung verzerren.
- blockierte URLs in der Sitemap
- Weiterleitungen oder 404-URLs in der Sitemap
- fehlende kanonische Zielseiten
- robots.txt blockiert CSS oder JavaScript, die fürs Rendering nötig sind
Sitemap und robots.txt gezielt bereinigen
Bereinigen Sie zuerst strategische Widersprüche, danach formale Qualität. So stellen Sie sicher, dass Suchmaschinen die richtigen URLs effizient finden.
- wichtige kanonische URLs definieren
- Sitemap auf Statuscode und Indexierbarkeit prüfen
- robots.txt-Regeln auf unbeabsichtigte Sperren testen
- veraltete oder falsche Einträge entfernen
- nach Anpassungen erneut prüfen
Direkt mit Ihrer Website prüfen
Prüfen Sie Ihre Domain und achten Sie darauf, ob Sitemap und robots.txt dieselbe Strategie unterstützen. Besonders kritisch sind blockierte wichtige URLs oder indexierte Seiten, die nicht in der Sitemap auftauchen.
Häufige Fragen
Muss jede Website eine XML-Sitemap haben?
Für sehr kleine Websites ist sie nicht zwingend, aber fast immer hilfreich. Bei größeren, dynamischen oder häufig aktualisierten Websites ist eine saubere Sitemap besonders wichtig.
Kann robots.txt Indexierung verhindern?
robots.txt verhindert Crawling, nicht direkt Indexierung. Eine bereits bekannte URL kann trotzdem erscheinen, wenn andere Signale darauf zeigen. Für Ausschluss aus dem Index ist noindex das passendere Signal.
Was gehört nicht in die Sitemap?
Nicht-kanonische URLs, Weiterleitungen, 404-Seiten, noindex-Seiten, interne Suchseiten und unwichtige Parameter-URLs sollten in der Regel nicht gelistet werden.