robots.txt -> SEO // Analyse Korrekturen

Raptor schrieb:

Ich bin dafür, dass man die robots.txt in der Analyse unter der Kategorie Suchmaschinenoptimierung einordnen sollte und nicht unter Technik, schliesslich interessieren sich nur Suchmaschinenbots für diese Datei.

Sollte dieser vorschlag den ich für gut erachte aufgenommen werden könnte man auch gleich versuchen den Fehler, das auf unterseiten die robots txt nicht gefunden wird, beheben.

Raptor schrieb:

Ich bin dafür, dass man die robots.txt in der Analyse unter der Kategorie Suchmaschinenoptimierung einordnen sollte und nicht unter Technik, schliesslich interessieren sich nur Suchmaschinenbots für diese Datei.

Da bin ich anderer Meinung, da die robots.txt technischen Hintergrund hat. Sie steuert ja nur die Berechtigung der Suchmaschinen und enthält keine sonstigen Informationen die für SEO wichtig wären.

der_booker schrieb:

Da bin ich anderer Meinung, da die robots.txt technischen Hintergrund hat. Sie steuert ja nur die Berechtigung der Suchmaschinen und enthält keine sonstigen Informationen die für SEO wichtig wären.

Genau du sagst es selber Sie steuert die Robots der Suchmaschinen eine andere Funktion hat Sie nicht.
Von daher gehört Sie meines Erachtens zur Optimierung der Suchmaschinen.
Lass Sie weg und es hat auf die Technik einer Seite keinen Einfluss
Man kann Sie bestimmt hier oder dort lassen aber ich denke mir der Schwerpunkt ihrer Funktion liegt bei der Steuerung der suchmaschinen

adi schrieb:

Genau du sagst es selber Sie steuert die Robots der Suchmaschinen eine andere Funktion hat Sie nicht.
Von daher gehört Sie meines Erachtens zur Optimierung der Suchmaschinen.
Lass Sie weg und es hat auf die Technik einer Seite keinen Einfluss
Man kann Sie bestimmt hier oder dort lassen aber ich denke mir der Schwerpunkt ihrer Funktion liegt bei der Steuerung der suchmaschinen

Sie steuert die Berechtigung respektive die Zugriffserlaubnis der Suchmaschinen nicht die Suchmaschinen selbst.

Unter: http://www.teialehrbuch.de/Kostenlose-Kurse/Apache/15445-Funktionsweise-von-Suchmaschinen.html findet man eine Beschreibung wie die Robots der Suchmaschinen vorgehen.

Also meiner Meinung nach steuert man mit der Robots Datei schon ein bisschen die Kategorie SEO. Schließlich kann man ja sagen, dass kein Bot (sehr unwahrscheinlich glaube ich, weil sicherlich einige das ignorieren) auf die Seite geht. Dann ist das für dich negativ, weil nichts passiert. Wenn du aber mit der Datei sagst, alle Bots dürfen alles verfolgen, steigt dein SEO Ergebnis. Also so sehe ich das

Einen technischen Hintergrund hat für mich die Robots Datei eindeutig nicht.

@gmmts
ich hab mir gerade deine Community angeschaut. Die Seite enthält zwar eine robots.txt und eine sitemap.xml. Doch verlinkst du von der einen Datei nicht auf die andere.

Beispiel:

Sitemap: www.domain.de/sitemap.xml

Moin,

wie sollte denn die optimale robots.txt. Datei jetzt aussehen?

jsfs schrieb:

Moin,

wie sollte denn die optimale robots.txt. Datei jetzt aussehen?

Das lässt sich pauschal nicht beantworten. Was willst Du denn tun? Welche Informationen willst Du frei geben?

Moin,

ich wollte eigentlich nur wissen ob ich diallow oder besser allow verwende. Monentan sieht sieht sie so aus:
User-agent: *
Disallow:

Magst Du denn, dass Die Suchmaschinen zugreifen können oder eher nicht?
:wink: