robots.txt-Datei fehlerhaft?

Azuu schrieb:

In der Datei ist kein "?" vor User-Agent. Was läuft da falsch?

Doch, da ist eins, allerdings sieht man es im Browser nicht.
Das sieht irgendwie nach einem BOM aus, obwohl da kein  vorkommt.

Mach mal \'nen Zeilenumbruch (am besten zwei) an den Anfang der Datei.
Oder falls du das beim Speichern einstellen kannst, kannst du die Datei als ASCII speichern.

Azuu schrieb:

Hallo,

ich kriege im Google Webmaster-Tools folgende Meldung:

Wert Ergebnis
Zeile 1: ?User-agent: * Syntax wurde nicht verstanden
Zeile 2: Allow: / Kein User-Agent angegeben.

Zu dieser robots-Datei: www.pc-luchs.de/robots.txt

In der Datei ist kein "?" vor User-Agent. Was läuft da falsch?

Ist Allow, wenn es nicht in Verbindung mit Disallow steht überhaupt erlaubt?

Wenn man alles erlauben will soltte es so drinne stehen:
User-agent: *
Disallow:


Gruß,
Claudio

Noch ein kleiner Tipp: für Dateien die nach Unix gehen, setze ich den Notepad++ ein
und konvertiere die Dateien ins Unix-Format.
So ganz nebenbei kannst du dir auch alle nicht druckbaren Zeichen anzeigen lassen.
Sonst sieht deine robots.txt genau so aus wie meine.

Hier noch ein Link zum Thema:

www.at-web.de/grundlagen/robots-txt.htm

Hallo

Werft nicht alles durcheinander!

@ Flo das sieht man nicht ausser mit einigen Editoren wie weaverslave wenn die Datei im UTF8 mit BOM (Byte Order Mark) abgespeichert worden ist!

Das mit den Zeilen wird dann auch nicht weiterhelfen! Die beiden Zeichen bleiben stehen!

Das mit dem Abspeichern in einem anderem Format sollte schon helfen!

@ Lutz notepad ++ ist zwar ein guter Ratschlag aber da reicht auch das UTF-8 ohne BOM Format aus! Oder halt eben Ascii für die Robots.txt!

www.w3.org/International/questions/qa-utf8-bom.de.php

joerg schrieb:

@ Lutz notepad ++ ist zwar ein guter Ratschlag aber da reicht auch das UTF-8 ohne BOM Format aus! Oder halt eben Ascii für die Robots.txt!

Hallo Jörg,
wo ich oft schon ein Problem hatte, sind <CR LF> bei Windows und <LF> bei Unix. Ist ja nun beides ASCII.

joerg schrieb:

@ Flo das sieht man nicht ausser mit einigen Editoren wie weaverslave wenn die Datei im UTF8 mit BOM (Byte Order Mark) abgespeichert worden ist!

Da war tatsächlich ein UTF-8-BOM. Ich hab\'s nur falsch konvertiert, deshalb hab\' ich es nicht erkannt.
Jetzt ist es auf alle Fälle weg.

Aber ich habe mir dazu gleich noch die Freiheit genommen, eine BOM-Erkennung beim ContentAnalyzer einzubauen.

Hallo Lutz

Ich habe nicht gerade viel verstanden von der Problematik mit den Zeilenumbrüchen!
Vielleicht hilft dir das ja weiter!

de.wikipedia.org/wiki/Zeilenumbruch

www.oreilly.de/catalog/mcosxhksger/chapter/hack05.html

Hallo Jörg,
die Erfahrung kommt aus dem Oracle und Informix-Umfeld.
Häufigste Ursache für Fehler: falsche Berechtigung, dann Sonderzeichen im Skript, dann erst syntaktische Fehler. Ich versuche halt, meine bisherigen Erfahrungen auf dieses für mich neue Gebiet des WEB zu projizieren.
Grüße Lutz

joerg schrieb:

@Flo Hörst du bald mal auf? Ich bin jetzt schon Stammgast auf deiner Seite ! So ab und zu möchte ich noch einen Blick auf meine eigenen werfen!

Ja, am Samstag bin ich ausser Haus. Dann kann ich dich also nicht von deiner Arbeit abbringen Es sei denn meine Anwesenheit ist nachwirkend, dann hast du ein Problem. lol Oder du geduldest dich bis zu den Frühlingsferien, dann bin ich für 2 Wochen auf dem Mittelmeer.