Ergänzung in robots.txt
Startbeitrag
Originaler Foreninhalt in modernisierter Darstellung.
Für die "alten Hasen" wahrscheinlich selbstverständlich.
Vorhin habe ich in den Webmaster-Tools diese Einträge unter Beispielseiten gesehen:
/typo3/logout.php und /typo3/index.php.
Ich denke, das sollte man im Vorfeld durch Einträge in der robots.txt vermeiden:
Disallow: /typo3/
Disallow: /t3lib/
Disallow: /typo3conf/
...
Antworten
7 BeiträgeFür die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken (wofür auch). Die haben dort (ebenso wie Besucher) ja ohnehin nichts verloren.
SEO Analyse und Website-Check mit Seitenreport
seitenreport schrieb:
Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken. Die haben dort (ebenso wie Besucher) ja ohnehin nichts verloren.
Nicht ganz. Der Alexa-Webcrawler findet auch Backend-Seiten.
Ich habe solche Admin-Seiten per robots.txt rausgesperrt.. Schaden kann\'s ja nicht.
Du hast gesagt "in den Webmaster-Tools". Wo genau?
Bei der Website-Leistung bzw. Geschwindigkeit? Dort besteht bei mir die Hälfte auch aus Backend-Seiten. Da kannst du allerdings nichts machen.
seitenreport schrieb:
Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken.
Verstehe ich nicht: wo sollten mein Login oder Logout verlinkt sein?
lwulfe schrieb:
seitenreport schrieb:
Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken.
Verstehe ich nicht: wo sollten mein Login oder Logout verlinkt sein?
Eben: Wenn sie nirgendwo verlinkt sind brauchst Du diese Verzeichnisse im Allgemeinen auch nicht per robots.txt sperren (es sei denn - wie richtig von Flo gesagt - Du verwendest einen Browser mit Alexa-Toolbar, wenn Du Dich im TYPO3-Backend einloggst - der diese Seite dann ggf. speichert und ab und an crawlt).
Wenn Du allerdings etwas mehr Sicherheit hineinbringen möchtest, könntest Du per htaccess die IP-Adressen eingrenzen, welche z.B. auf den /typo3/ Bereich zugreifen dürfen.
SEO Analyse und Website-Check mit Seitenreport
Aha, das hängt also mit der Alexa-Toolbar zusammen, dass Google diese Seiten auflistet?
@Flo: ja, in der Website-Leistung. Ich stimme deinem Slogan "SEO ist eine Religion ..." inzwischen so was von zu!
seitenreport schrieb:
lwulfe schrieb:
seitenreport schrieb:
Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken.
Verstehe ich nicht: wo sollten mein Login oder Logout verlinkt sein?
Eben: Wenn sie nirgendwo verlinkt sind brauchst Du diese Verzeichnisse im Allgemeinen auch nicht per robots.txt sperren (es sei denn - wie richtig von Flo gesagt - Du verwendest einen Browser mit Alexa-Toolbar, wenn Du Dich im TYPO3-Backend einloggst - der diese Seite dann ggf. speichert und ab und an crawlt).
Wenn Du allerdings etwas mehr Sicherheit hineinbringen möchtest, könntest Du per htaccess die IP-Adressen eingrenzen, welche z.B. auf den /typo3/ Bereich zugreifen dürfen.
Eine Kombination von Beiden, wäre hier angebracht. einerseits in der robots.txt ausklammern lassen und dann den Bereich durch .htaccess sperren. So mache ich es auch.
lwulfe schrieb:
Aha, das hängt also mit der Alexa-Toolbar zusammen, dass Google diese Seiten auflistet?
xD, nein, der Alexa-Webcrawler kommt auf die Seite, wenn du die Alexa-Toolbar hast, und in den Webmastertools taucht die Seite auf, wenn du die Google-Toolbar hast. Aber wie gesagt, dass sie in den WMTs auftaucht, kannst du nicht verhindern (es sei denn, du killst die Google-Toolbar).