robots.txt auf Inhalt prüfen

Raptor schrieb:

Ich hätte da noch \'nen Vorschlag:
Ich denke, man sollte die robots.txt auf ihren Inhalt prüfen. Ich mein, eine leere robots.txt dürfte eigentlich nicht 100% geben ...

Warum?
Es muss doch nichts drinn stehen, wenn nichts verboten werden soll. Google ist mit einer leeren Datei zufrieden. Und dass die Datei da ist, zeigt doch, dass man an sie gedacht hat.

Gérard

Klingt schon logisch..

Aber worin liegt der Unterschied zwischen einer leeren robots.txt und einer nicht vorhandener robots.txt? (Abgesehen vom HTTP-Statuscode)

Raptor schrieb:

Aber worin liegt der Unterschied zwischen einer leeren robots.txt und einer nicht vorhandener robots.txt? (Abgesehen vom HTTP-Statuscode)

In der Ruhe für deine Nerven. Die diversen SEO-Tools meckern nicht und Google nervt auch nicht.

Gérard