Robots.txt Generator: Regeln und Sitemap-Hinweise erstellen
Kostenloser Generator · ohne Anmeldung
Erstellen Sie eine robots.txt aus einer Vorlage und Ihren eigenen Pfadregeln. Ergänzen Sie Sitemap-URLs, prüfen Sie die Vorschau und kopieren oder laden Sie die fertige Textdatei herunter.
- Basis-regeln für neue Websites oder Relaunches erzeugen
- interne Bereiche wie Login, Suche oder Admin sauber aussperren
- Sitemaps direkt in der robots.txt hinterlegen
- WordPress-, TYPO3- oder Shop-Basis schnell vorbereiten
- fertige robots.txt sofort kopieren oder herunterladen
# Hier erscheint die generierte robots.txt
- nur wirklich unerwünschte Bereiche sperren
- nicht versehentlich ganze Website blockieren
- nach dem Upload mit dem Checker validieren
| # | Typ | Wert |
|---|
robots.txt erstellen, prüfen und veröffentlichen
Vorlage und eigene Regeln kombinieren
Wählen Sie Basis, WordPress, TYPO3, Shop oder die strengere Vorlage. Der Generator ergänzt Ihre Eingaben zu den Regeln der gewählten Vorlage; ein leeres Eingabefeld entfernt deren Standardregeln nicht. Prüfen Sie deshalb die vollständige Ausgabe. Vor allem bei individuellen CMS-Pfaden oder Shops können pauschale Regeln wichtige Seiten oder benötigte Ressourcen sperren.
Allow, Disallow und Sitemap unterscheiden
Disallow beschreibt Pfade, die ein kooperierender Crawler nicht abrufen soll. Allow kann bestimmte Pfade freigeben. Eine Sitemap-Zeile verweist auf eine XML-Sitemap und ist keine Freigabe für gesperrte Seiten. Tragen Sie für Regeln die tatsächlichen Pfade Ihrer Website ein und kontrollieren Sie Sitemap-URLs auf Erreichbarkeit. CSS, JavaScript und Bilder, die zum Verständnis Ihrer Seiten nötig sind, sollten nicht versehentlich blockiert werden.
Crawling verhindern ist nicht dasselbe wie noindex
Eine über robots.txt gesperrte URL kann weiterhin in Suchergebnissen auftauchen. Soll eine zugängliche Seite aus dem Index verschwinden, muss ein Crawler ihre noindex-Anweisung lesen können. Gleichzeitiges Disallow kann das verhindern. Für vertrauliche Inhalte ist eine Anmeldung oder andere Zugriffskontrolle nötig; die robots.txt ist öffentlich und kein Passwortschutz.
Datei im Hauptverzeichnis bereitstellen
Laden Sie die geprüfte Datei unter /robots.txt des jeweiligen Hosts hoch. Prüfen Sie danach die ausgelieferte Fassung und testen Sie wichtige erlaubte sowie gesperrte URLs. Ein CMS-Plugin oder eine virtuelle Route kann statt Ihrer hochgeladenen Datei eine eigene robots.txt liefern. Bei mehreren Subdomains kontrollieren Sie jeden betroffenen Host separat.
Was die zusätzliche Bot-Sperre leistet
Die Option ergänzt benannte User-agent-Gruppen mit Disallow: /. Sie sperrt keine IP-Adressen und gewährleistet nicht, dass jeder Dienst Ihre Vorgaben beachtet. Ob ein konkreter Anbieter eine Regel berücksichtigt und wofür dessen Crawler verwendet wird, müssen Sie anhand seiner aktuellen Dokumentation prüfen.
Interne Suchergebnisse vom Crawling ausnehmen
Praxisbeispiel · zur Veranschaulichung
Ausgangslage
Beispielregel: User-agent: * gefolgt von Disallow: /suche/. Für /produkte/ ist in diesem Beispiel keine Sperre vorgesehen.
Befund einordnen
Disallow betrifft den Abruf des Pfades. Bereits bekannte URLs können trotzdem ohne ausgelesenen Inhalt im Index verbleiben.
Konkrete Änderung
Regeln auf den tatsächlich verwendeten Pfad abstimmen. Vertrauliche Bereiche mit Anmeldung schützen, nicht nur mit robots.txt.
Kontrolle und Grenze
Mit dem robots.txt Tester /suche/?q=test und /produkte/ getrennt simulieren; anschließend die Datei am Domain-Root abrufen.
Google: Zweck und Grenzen von robots.txt
Fragen zu Nutzung und Grenzen
Ist der Robots.txt Generator kostenlos?
Ja. Vorlagen, Vorschau, Kopieren und Download sind ohne Anmeldung verfügbar. Das Tool erzeugt eine Datei; es ändert Ihre Website nicht automatisch.
Sind die WordPress- und TYPO3-Vorlagen sofort passend?
Sie sind Ausgangspunkte. Prüfen Sie tatsächliche Pfade, Plugins, Assets und gewünschte Crawl-Ziele. Eigene Regeln werden mit der Vorlage zusammengeführt.
Wo lade ich robots.txt hoch?
Unter /robots.txt direkt am jeweiligen Host, etwa https://example.org/robots.txt. Prüfen Sie danach im Browser, welche Datei dort tatsächlich ausgeliefert wird.
Kann ich mehrere XML-Sitemaps angeben?
Ja. Tragen Sie je Zeile eine Sitemap-Adresse ein. Prüfen Sie die erzeugten URLs und ob die Dateien öffentlich erreichbar sind.
Verhindert Disallow die Indexierung?
Nicht zuverlässig. Disallow steuert den Abruf. Für noindex muss der Crawler die entsprechende Anweisung lesen können; eine gleichzeitige Crawl-Sperre kann das verhindern.