rdombach
Avatar rdombach
Themenersteller
Security-Admin
Content Halbgott (608 Beiträge)

Google's Webmastertools und die robots.txt

am 21.10.2012, 19:49 Uhr eröffnete rdombach folgenden Thread
OnPage Optimierung    2322 mal gelesen    6 Antwort(en).

Hallo alle miteinander,

ich habe heute mal wieder nachgeschaut, wie Google's Webmastertools meine Werbseite sehen. Dabei habe ich einen Fehlerhinweis für die robots.txt erhalten.

Zeile 1: User-agent: *
Syntax wurde nicht verstanden

Bei allen Artikeln die ich so google, ist die Syntax mit dem "*" erlaubt - aber Google mag die scheinbar nicht. Wenn ich dirket Bot-Namen angebe, das klappt, aber der Stern wird angemeckert. Hat jemand dafür eine Erklärung oder kann das gleiche Verhalten bei seiner robots.txt beobachten?

Beste Grüße
Ralph


Bitte nicht vergessen, Virenscanner und Co. zu aktualisieren!
SecuTipp: GRATIS Security-Informationen für die eigene Webseite und [url="http://twitter.com/secuteach"][img]http://w

georg123
Avatar georg123
Diplomökonom (Pensionär)
Content Halbgott (569 Beiträge)
am 22.10.2012, 12:39 Uhr schrieb georg123

rdombach schrieb:

Zeile 1: User-agent: *
Syntax wurde nicht verstanden


Hallo Ralph, seit Monaten hab ich meine robots.txt wieder mal angeschaut. Mein Befehl unterscheidet sich von Deinem durch ein kleines u bei user! Obs das ist??? Wenn nein bin auch ich OMA (ohne mindeste Ahnung, Wiki-Jargon). Gruß Fritz


http://georg-hh.freimaurerei.de

Freiheit-Gleichheit-Brüderlichkeit, Toleranz und Humanität:
Dafür stehen und danach streben Freimaurer

der_booker
Foren Moderator
selbständig
(2762 Beiträge)
am 22.10.2012, 13:14 Uhr schrieb der_booker

Ich verwende auch die Zeile User-agent: * und Google meckert nicht. Daran kann es also nicht liegen.
@Ralph: um welche Seite geht es denn?


Heiko Jendreck
personal helpdesk
http://www.phw-jendreck.de
http://www.seo-labor.com

rdombach
Avatar rdombach
Security-Admin
Content Halbgott (608 Beiträge)
am 22.10.2012, 18:48 Uhr schrieb rdombach

Hallo Fritz, hallo Heiko,

schade, ein "u" anstatt einem "U" wäre eine gute Lösung gewesen.

@Heiko:
www.secuteach.de und ww.secuteach.de/robots.txt

Ich habe schon geschaut, ob es ggf. irgendwo ein TAB gibt, aber ich finde nichts. Ich denke, ich sollte einfach die Datei nochmals neu aufbauen, und eventuell die Reihenfolge der Anweisungen verändern - vielleicht hilft das (Altes Fenster-User-Syndrom: Bei einem platten Autoreifen den Reifen an einer andere Selle montieren und sehen, ob der Fehler mitwandert ).

Danke Euch beiden.

Beste Grüße
Ralph



Bitte nicht vergessen, Virenscanner und Co. zu aktualisieren!
SecuTipp: GRATIS Security-Informationen für die eigene Webseite und [url="http://twitter.com/secuteach"][img]http://w

joerg
Avatar joerg
Fachinformatiker Anwendungsentwicklung
Content Gott (1941 Beiträge)
am 22.10.2012, 19:04 Uhr schrieb joerg

Hallo Ralph

Also ganz ehrlich ich schliesse mich Google an und verstehe auch nicht für welche Bots du Seiten sperren willst.

Alle oder nur die namentlich aufgeführten.

Das als fehlerhafte Syntax zu bezeichnen ist etwas irritierend.

Gruß
Jörg


Zufällige Umleitung zu der Startseite einer meiner Domains
Meine ungewöhnlichen Tools

rdombach
Avatar rdombach
Security-Admin
Content Halbgott (608 Beiträge)
am 22.10.2012, 19:17 Uhr schrieb rdombach

Halo Jörg,

ich will eigentlich nur, das kein Bot die Images und Zip-Files erfasst. Daher die beiden Disallow-Anweisungen. Da aber die "User-Agent: *"-Anweisung bei Google zu einem Fehler führt, habe ich temporär drei Bot\'s namentlich aufgeführt, bis ich das mit dem Stern gelöst habe.

Beabsichtigt ist, dass ALLE Bot\'s die Images und Zip\'s ignorieren.

Beste Grüße
Ralph


Bitte nicht vergessen, Virenscanner und Co. zu aktualisieren!
SecuTipp: GRATIS Security-Informationen für die eigene Webseite und [url="http://twitter.com/secuteach"][img]http://w

Kaheti
Avatar Kaheti
krank
Guru (153 Beiträge)
am 24.10.2012, 02:51 Uhr schrieb Kaheti

Hallo
Sollten einzelne Verzeichnisse nicht mit / abgeschlossen sein ?
Vielleicht wäre DAS ja der Casus Knacktus .-)

nette Grüsse

Kalle


www.kaheti.de - schöne wertvolle private Homepage

  • 1


« zurück zu: OnPage Optimierung

Das Seitenreport Forum hat aktuell 5273 Themen und 36107 Beiträge.
Insgesamt sind 48345 Mitglieder registriert.