Warum zeigt das Tool „Alles blockiert“ an?

Meist existiert in der Gruppe User-agent: * die Regel Disallow: /. Das blockiert praktisch alle Pfade.

Schnell

Robots.txt Parser

Robots.txt Checker

Q: Was ist eine robots.txt?

Die robots.txt ist eine Textdatei im Root einer Website, die Crawlern Regeln gibt, welche Bereiche gecrawlt werden dürfen oder nicht.

Q: Blockiert robots.txt die Indexierung?

Robots.txt steuert primär das Crawling und blockiert die Indexierung nicht zuverlässig. Für Nicht-Indexierung sind Meta Robots oder X-Robots-Tag besser geeignet.

Q: Was ist der Unterschied zwischen Allow und Disallow?

Disallow sperrt Pfade, Allow kann Ausnahmen innerhalb gesperrter Bereiche erlauben.

Q: Sollte ich meine Sitemap in robots.txt eintragen?

Das ist meist sinnvoll: Sitemap: https://domain.tld/sitemap.xml. Es ist kein Muss, hilft Bots aber häufig.

Ruft die robots.txt ab, gruppiert nach User-Agent, zeigt Allow/Disallow, extrahiert Sitemaps und erkennt typische SEO-Fallen (z. B. Disallow: / in User-agent: *, fehlende Sitemap, widersprüchliche Regeln).

Pro-Tipps

User-agent: * + Disallow: / blockiert alles → häufigste Katastrophe.
Robots.txt ist Crawl-Steuerung – nicht zuverlässig für “nicht indexieren” (dafür Noindex/Status).
Sitemaps in robots.txt sind ein praktischer Standard (Sitemap: …).

Status

Bereit

Score

—

HTTP Status

—

Gruppen

—

Sitemaps

—

Hinweis: Manche Sites liefern robots.txt über CDN/WAF. Wir fetchen serverseitig mit Limits (Fair Use).

Hinweise

—

Noch keine Analyse gestartet.

User-Agent Gruppen & Regeln

Parser gruppiert zusammenhängende User-agent Blöcke. Darin: Allow/Disallow + optionale Direktiven.

User-Agents	Disallow	Allow	Sonstiges
—

Sitemaps

Alle Sitemap: Einträge aus robots.txt.

—

Raw robots.txt

Praktisch zum Copy/Paste & Debug.

—

Checkliste (praktisch)

Wenn Sie nur 60 Sekunden haben: Diese Punkte verhindern die häufigsten Robots-Katastrophen.

Merksatz

Live-Site: kein Disallow: / in User-agent: * · Sitemap verlinken · kritische Pfade nicht blocken.

5 schnelle Checks

/robots.txt liefert 200
User-agent: * vorhanden (oder bewusst nicht)
Kein “Alles blockiert” auf Live
Sitemap(s) eingetragen
Wichtige Pfade nicht blockiert (Assets, Produktseiten, Kategorien)

FAQ

Was ist eine robots.txt?

Die robots.txt ist eine Textdatei im Root einer Website (z. B. https://domain.tld/robots.txt), mit der du Crawlern Regeln gibst, welche Bereiche sie crawlen dürfen oder nicht crawlen sollen.

Blockiert robots.txt die Indexierung?

Nicht zuverlässig. Robots.txt steuert primär das Crawling. Wenn eine URL extern verlinkt ist, kann sie ggf. trotzdem im Index auftauchen (ohne Snippet). Für “nicht indexieren” sind Meta Robots oder X-Robots-Tag besser.

Was ist der Unterschied zwischen Allow und Disallow?

Disallow sperrt Pfade, Allow kann innerhalb eines gesperrten Bereichs Ausnahmen erlauben. In der Praxis: erst grob sperren, dann gezielt erlauben (z. B. Assets).

Sollte ich meine Sitemap in robots.txt eintragen?

Ja, in vielen Fällen ist das sinnvoll: Sitemap: https://domain.tld/sitemap.xml. Es ist kein Muss, hilft aber Bots und macht Setups robuster.

Warum meldet das Tool „Alles blockiert“?

Meist steht in der Gruppe User-agent: * eine Regel Disallow: /. Das blockiert faktisch alle Pfade. Auf Staging ist das ok, live in der Regel ein schwerer SEO-Fehler.

Welche Bereiche sollte ich typischerweise blocken?

Admin/Login, interne Suche, Filter-/Facetten-Parameter, Session-URLs, doppelte Sortierungen. Ziel: Crawl-Budget sparen und “Spider Traps” vermeiden.