Seitenreport Seitenreport
Indexierung in WordPress

robots.txt blockiert wichtige URL in WordPress beheben

Die wirksame Regel für den passenden Crawler finden. In WordPress prüfen Sie dafür Website-Sichtbarkeit und Seitenregeln des SEO-Plugins.

Website-Sichtbarkeit und Seitenregeln des SEO-Plugins

Unterscheiden Sie eine physische robots.txt von einer virtuellen WordPress-Ausgabe. Änderungen im Plugin greifen nicht zwingend auf eine vorhandene Datei durch.

Vergleichen Sie die grundsätzliche Sichtbarkeitseinstellung der Installation mit der Vorgabe für den einzelnen Beitrag oder das Archiv. Ein aus der Testphase übernommenes Setup kann breiter wirken als ein einzelnes noindex-Feld.

Wo Sie die Einstellung in WordPress prüfen

Prüfen Sie unter Einstellungen → Lesen die Suchmaschinen-Sichtbarkeit und anschließend die Indexierungsregel des aktiven SEO-Plugins für den betroffenen Seitentyp. Für Core-Ausgaben ist der Filter wp_robots relevant. Eine robots.txt-Sperre und ein noindex-Tag sind getrennte Vorgaben.

Beispiel für diesen konkreten Befund

Illustrativer Kontrollfall: Eine Regel für /angebote/ erfasst auch eine veröffentlichte Leistungsseite, die in der Suche erscheinen soll.

Nachprüfung in WordPress

Startseite, Beitrag und Archiv auf die wirklich ausgelieferten Meta- und HTTP-Vorgaben prüfen. Eine globale Änderung nicht aus einem einzigen ungewollt ausgeschlossenen Beitrag ableiten.

Die tatsächlich wirksame User-Agent-Gruppe und passende Pfadregel prüfen. Mit einer erlaubten und einer weiterhin gesperrten Kontroll-URL testen.

Ausnahmen und Geltungsbereich

Ein absichtlicher Crawl-Ausschluss ist nicht automatisch ein Fehler. Für vertrauliche Inhalte ist zusätzliche Zugriffskontrolle erforderlich.

Bezug: WordPress mit klassischem oder Block-Theme. SEO-Plugins und Page-Builder unterscheiden sich; es gibt keinen universellen Menüpfad für alle Installationen.

Den allgemeinen Fehler einordnen

Definition, systemunabhängige Ursachen und weitere Korrekturbeispiele: Die wirksame Regel für den passenden Crawler finden

Dokumentation zur Konfiguration und zum Prüfsignal

WordPress: wp_robots und Filter

Google: Robots-Meta-Tags und X-Robots-Tag

Google: robots.txt-Regeln

Verwandte Indexierung-Fehler in WordPress