Raptor
Themenersteller
IT-Student
Content Gott (1013 Beiträge)
robots.txt auf Inhalt prüfen
Ich hätte da noch 'nen Vorschlag:
Ich denke, man sollte die robots.txt auf ihren Inhalt prüfen. Ich mein, eine leere robots.txt dürfte eigentlich nicht 100% geben
und eine in der folgendes steht
User-agent: *
Disallow: bringt's ja auch nicht..
Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen
[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel
gerard
Content Gott (1271 Beiträge)
Raptor schrieb:
Ich hätte da noch \'nen Vorschlag:
Ich denke, man sollte die robots.txt auf ihren Inhalt prüfen. Ich mein, eine leere robots.txt dürfte eigentlich nicht 100% geben ...
Warum?
Es muss doch nichts drinn stehen, wenn nichts verboten werden soll. Google ist mit einer leeren Datei zufrieden. Und dass die Datei da ist, zeigt doch, dass man an sie gedacht hat.
Gérard
http://bretagne-virtuell.de
Raptor
IT-Student
Content Gott (1013 Beiträge)
gerard
Content Gott (1271 Beiträge)
Raptor schrieb:
Aber worin liegt der Unterschied zwischen einer leeren robots.txt und einer nicht vorhandener robots.txt? (Abgesehen vom HTTP-Statuscode)
In der Ruhe für deine Nerven. Die diversen SEO-Tools meckern nicht und Google nervt auch nicht.
Gérard
http://bretagne-virtuell.de
Das Seitenreport Forum hat aktuell 5276 Themen und 36111 Beiträge.
Insgesamt sind 48364 Mitglieder registriert.
Beitrag erstellen
EinloggenKostenlos registrieren