Meta Robots richtig einsetzen
Mit dem Meta-Robots-Tag oder dem X-Robots-Tag steuern Sie, ob eine Seite indexiert werden darf und wie Teile der Darstellung in den Suchergebnissen behandelt werden. Das ist besonders wichtig bei Login-Bereichen, dünnen Archivseiten, internen Suchergebnissen, Testumgebungen oder temporären URLs.
Gerade im Alltag werden hier viele Fehler gemacht: noindex auf falschen Templates, widersprüchliche Signale zwischen Canonical und Robots oder JavaScript-Lösungen, die zu spät greifen.
noindex ist ein präzises Werkzeug – aber nur dann, wenn die betroffenen Seiten sauber erreichbar, eindeutig gekennzeichnet und nicht durch andere Signale widersprüchlich gesteuert werden.
Was Meta Robots steuert
Das bekannteste Signal ist noindex. Daneben können Meta-Robots- oder X-Robots-Regeln auch Snippet-Ausgabe, Bildvorschauen oder andere Darstellungsaspekte beeinflussen.
<meta name="robots" content="noindex, nofollow">Für nicht-HTML-Dateien wie PDFs ist oft das X-Robots-Tag im HTTP-Header die passendere Variante.
Wann noindex sinnvoll ist
- interne Suchergebnisse ohne eigenständigen Mehrwert
- Test-, Filter- oder Parameterseiten, die nicht ranken sollen
- dünne Archivseiten oder technische Hilfsseiten
- stagingnahe Bereiche, sofern sie überhaupt öffentlich erreichbar sein müssen
Nicht sinnvoll ist noindex auf Seiten, die eigentlich organischen Traffic aufbauen sollen.
Häufige Fehler
- produktive Landingpages tragen versehentlich noindex
- Canonical zeigt auf indexierbare URL, die Quellseite ist aber noindex – ohne klare Strategie
- robots.txt blockiert die Seite, sodass Meta-Robots nicht sauber verarbeitet werden kann
- JavaScript ändert Robots-Regeln erst nachträglich
- PDFs oder andere Assets bekommen keinen X-Robots-Header, obwohl sie aus dem Index sollen
Praxis-Check
- Stichprobe in den wichtigsten Templates: Startseite, Kategorie, Detailseite, Filter, Suche.
- Quelltext und Response-Header kontrollieren.
- Prüfen, ob die betroffenen URLs trotzdem intern prominent verlinkt sind.
- Search Console und Crawl-Ergebnisse gegen die Regel-Logik abgleichen.
FAQ: Meta Robots
Nein. robots.txt steuert das Crawling, noindex die Aufnahme in den Index. Für eine saubere Deindexierung ist noindex oft die passendere Methode.
Nur in besonderen Fällen. Für viele Websites ist das kein Standardhebel und sollte bewusst statt reflexartig eingesetzt werden.
Nicht direkt im HTML. Dafür eignet sich das X-Robots-Tag im HTTP-Header.
Weil Suchmaschinen die Seite unter Umständen nicht so rendern oder erneut verarbeiten, wie das Setup es voraussetzt.