Google's Webmastertools und die robots.txt
Redaktionelle Einordnung
Diese archivierte Diskussion behandelt Google's Webmastertools und die robots.txt aus Sicht der Rubrik OnPage Optimierung.
Für Indexierungsfragen sind heute Search Console, saubere Robots-Signale, Canonicals und XML-Sitemaps die wichtigsten Stellschrauben.
Sinnvoll nutzbar bleibt der Thread vor allem als historischer Kontext, für typische Fragestellungen und zur Einordnung älterer Empfehlungen.
Startbeitrag
Originaler Foreninhalt in modernisierter Darstellung.
Hallo alle miteinander,
ich habe heute mal wieder nachgeschaut, wie Google's Webmastertools meine Werbseite sehen. Dabei habe ich einen Fehlerhinweis für die robots.txt erhalten.
Zeile 1: User-agent: *
Syntax wurde nicht verstanden
Bei allen Artikeln die ich so google, ist die Syntax mit dem "*" erlaubt - aber Google mag die scheinbar nicht. Wenn ich dirket Bot-Namen angebe, das klappt, aber der Stern wird angemeckert. Hat jemand dafür eine Erklärung oder kann das gleiche Verhalten bei seiner robots.txt beobachten?
Beste Grüße
Ralph
Antworten
6 Beiträgerdombach schrieb:
Zeile 1: User-agent: *
Syntax wurde nicht verstanden
Hallo Ralph, seit Monaten hab ich meine robots.txt wieder mal angeschaut. Mein Befehl unterscheidet sich von Deinem durch ein kleines u bei user! Obs das ist??? Wenn nein bin auch ich OMA (ohne mindeste Ahnung, Wiki-Jargon). Gruß Fritz
Ich verwende auch die Zeile User-agent: * und Google meckert nicht. Daran kann es also nicht liegen.
@Ralph: um welche Seite geht es denn?
Hallo Fritz, hallo Heiko,
schade, ein "u" anstatt einem "U" wäre eine gute Lösung gewesen.
@Heiko:
www.secuteach.de und ww.secuteach.de/robots.txt
Ich habe schon geschaut, ob es ggf. irgendwo ein TAB gibt, aber ich finde nichts. Ich denke, ich sollte einfach die Datei nochmals neu aufbauen, und eventuell die Reihenfolge der Anweisungen verändern - vielleicht hilft das (Altes Fenster-User-Syndrom: Bei einem platten Autoreifen den Reifen an einer andere Selle montieren und sehen, ob der Fehler mitwandert ).
Danke Euch beiden.
Beste Grüße
Ralph
Hallo Ralph
Also ganz ehrlich ich schliesse mich Google an und verstehe auch nicht für welche Bots du Seiten sperren willst.
Alle oder nur die namentlich aufgeführten.
Das als fehlerhafte Syntax zu bezeichnen ist etwas irritierend.
Gruß
Jörg
Halo Jörg,
ich will eigentlich nur, das kein Bot die Images und Zip-Files erfasst. Daher die beiden Disallow-Anweisungen. Da aber die "User-Agent: *"-Anweisung bei Google zu einem Fehler führt, habe ich temporär drei Bot\'s namentlich aufgeführt, bis ich das mit dem Stern gelöst habe.
Beabsichtigt ist, dass ALLE Bot\'s die Images und Zip\'s ignorieren.
Beste Grüße
Ralph
Hallo
Sollten einzelne Verzeichnisse nicht mit / abgeschlossen sein ?
Vielleicht wäre DAS ja der Casus Knacktus .-)
nette Grüsse
Kalle