Robots-Meta-Tags richtig einsetzen: noindex, nofollow, nosnippet und Co.Meta-Robots-Direktiven entfalten ihren Nutzen erst mit sauberer Abgrenzung und konsistenter Technik
Robots-Meta-Tags und X-Robots-Tag steuern den Umgang mit abgerufenen Inhalten. Sie sind von robots.txt-Regeln für den Abruf und von echtem Zugriffsschutz zu unterscheiden.
Legen Sie zuerst fest, was eine URL leisten soll. Prüfen Sie danach sämtliche tatsächlich ausgelieferten Robots-Vorgaben, einschließlich HTTP-Headern.
HTML-Meta-Tag oder HTTP-Header?
Für eine HTML-Seite kann die Vorgabe im head stehen. Für andere Antworttypen, etwa ein PDF, ist ein passender HTTP-Header eine mögliche Ausgabestelle. Anwendung, Server und CDN können unterschiedliche Quellen einer solchen Vorgabe sein.
Ein Quelltext ohne noindex beweist deshalb nicht, dass die Antwort keinen Ausschluss enthält. Lesen Sie immer auch die Header eines normalen Abrufs, wenn die Meldung und die sichtbare Einstellung nicht zusammenpassen.
Bewusste Ausschlüsse darstellen
Beide Beispiele setzen voraus, dass der Inhalt abgerufen werden darf. Eine gleichzeitige Crawl-Sperre kann verhindern, dass die Vorgabe gelesen wird. Vertrauliche Dateien benötigen unabhängig davon eine Zugriffskontrolle.
<!-- Beispiel: interne Suchergebnisse -->
<meta name="robots" content="noindex,follow">
# Beispiel: nicht für die Suche vorgesehene Datei
HTTP/2 200
Content-Type: application/pdf
X-Robots-Tag: noindex
Ein unbeabsichtigtes noindex finden
- Veröffentlichungsabsicht und Seitentyp notieren: Leistungsseite oder bewusst ausgeschlossene Nutzerfunktion?
- Meta-Robots und X-Robots-Tag der öffentlichen URL prüfen.
- Den Unterschied zwischen Seitenfeld, Template und Serverregel eingrenzen.
- Die zuständige Quelle ändern und vorgeschaltete Caches berücksichtigen.
- Antwort erneut abrufen; tatsächliche spätere Indexierung gesondert beobachten.
Linksteuerung ist kein Ersatz für Indexierungssteuerung
Ein intern verlinkter Warenkorb darf bewusst noindex tragen. Den Link zu entfernen würde seine Nutzeraufgabe beschädigen. Ebenso ist nofollow kein verlässlicher Weg, eine Zielseite aus der Suche zu entfernen.
Bei mehreren Vorgaben ist nicht einfach die zuletzt gefundene Zeile maßgeblich. Vermeiden Sie widersprüchliche Quellen und prüfen Sie die für den jeweiligen Crawler geltenden Regeln. Die technische Korrektur garantiert keine sofortige Aufnahme einer URL.
Häufige Fragen
Verhindert noindex den Zugriff auf eine Seite?
Nein. Es ist kein Passwortschutz. Wer Inhalte vertraulich halten muss, benötigt eine geeignete Zugriffsregel.
Kann robots.txt ein noindex ersetzen?
Nein. Eine Crawl-Sperre und ein Indexierungsverbot sind unterschiedliche Mechanismen. Insbesondere kann eine Sperre das Lesen des noindex verhindern.