lwulfe
Avatar lwulfe
Themenersteller
Consultant
Content Halbgott (743 Beiträge)

Ergänzung in robots.txt

am 20.01.2010, 22:11 Uhr eröffnete lwulfe folgenden Thread
Sonstige    2562 mal gelesen    7 Antwort(en).

Für die "alten Hasen" wahrscheinlich selbstverständlich.
Vorhin habe ich in den Webmaster-Tools diese Einträge unter Beispielseiten gesehen:
/typo3/logout.php und /typo3/index.php.
Ich denke, das sollte man im Vorfeld durch Einträge in der robots.txt vermeiden:
Disallow: /typo3/
Disallow: /t3lib/
Disallow: /typo3conf/
...


seitenreport
Avatar seitenreport
Inhaber
TYPO3 Senior Developer
Content Gott (1772 Beiträge)
am 20.01.2010, 22:14 Uhr schrieb seitenreport

Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken (wofür auch). Die haben dort (ebenso wie Besucher) ja ohnehin nichts verloren.


SEO Analyse und Website-Check mit Seitenreport

Raptor
Avatar Raptor
IT-Student
Content Gott (1013 Beiträge)
am 20.01.2010, 22:17 Uhr schrieb Raptor

seitenreport schrieb:

Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken. Die haben dort (ebenso wie Besucher) ja ohnehin nichts verloren.


Nicht ganz. Der Alexa-Webcrawler findet auch Backend-Seiten.
Ich habe solche Admin-Seiten per robots.txt rausgesperrt.. Schaden kann\'s ja nicht.

Du hast gesagt "in den Webmaster-Tools". Wo genau?
Bei der Website-Leistung bzw. Geschwindigkeit? Dort besteht bei mir die Hälfte auch aus Backend-Seiten. Da kannst du allerdings nichts machen.


Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen

[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel

lwulfe
Avatar lwulfe
Consultant
Content Halbgott (743 Beiträge)
am 20.01.2010, 22:18 Uhr schrieb lwulfe

seitenreport schrieb:

Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken.


Verstehe ich nicht: wo sollten mein Login oder Logout verlinkt sein?


seitenreport
Avatar seitenreport
Inhaber
TYPO3 Senior Developer
Content Gott (1772 Beiträge)
am 20.01.2010, 22:22 Uhr schrieb seitenreport

lwulfe schrieb:

seitenreport schrieb:

Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken.


Verstehe ich nicht: wo sollten mein Login oder Logout verlinkt sein?


Eben: Wenn sie nirgendwo verlinkt sind brauchst Du diese Verzeichnisse im Allgemeinen auch nicht per robots.txt sperren (es sei denn - wie richtig von Flo gesagt - Du verwendest einen Browser mit Alexa-Toolbar, wenn Du Dich im TYPO3-Backend einloggst - der diese Seite dann ggf. speichert und ab und an crawlt).

Wenn Du allerdings etwas mehr Sicherheit hineinbringen möchtest, könntest Du per htaccess die IP-Adressen eingrenzen, welche z.B. auf den /typo3/ Bereich zugreifen dürfen.


SEO Analyse und Website-Check mit Seitenreport

lwulfe
Avatar lwulfe
Consultant
Content Halbgott (743 Beiträge)
am 20.01.2010, 22:31 Uhr schrieb lwulfe

Aha, das hängt also mit der Alexa-Toolbar zusammen, dass Google diese Seiten auflistet?
@Flo: ja, in der Website-Leistung. Ich stimme deinem Slogan "SEO ist eine Religion ..." inzwischen so was von zu!


der_booker
Foren Moderator
selbständig
(2762 Beiträge)
am 20.01.2010, 22:32 Uhr schrieb der_booker

seitenreport schrieb:

lwulfe schrieb:

seitenreport schrieb:

Für die Suchmaschinen reicht es, diese Verzeichnisse einfach nicht zu verlinken.


Verstehe ich nicht: wo sollten mein Login oder Logout verlinkt sein?


Eben: Wenn sie nirgendwo verlinkt sind brauchst Du diese Verzeichnisse im Allgemeinen auch nicht per robots.txt sperren (es sei denn - wie richtig von Flo gesagt - Du verwendest einen Browser mit Alexa-Toolbar, wenn Du Dich im TYPO3-Backend einloggst - der diese Seite dann ggf. speichert und ab und an crawlt).

Wenn Du allerdings etwas mehr Sicherheit hineinbringen möchtest, könntest Du per htaccess die IP-Adressen eingrenzen, welche z.B. auf den /typo3/ Bereich zugreifen dürfen.



Eine Kombination von Beiden, wäre hier angebracht. einerseits in der robots.txt ausklammern lassen und dann den Bereich durch .htaccess sperren. So mache ich es auch.


Heiko Jendreck
personal helpdesk
http://www.phw-jendreck.de
http://www.seo-labor.com

Raptor
Avatar Raptor
IT-Student
Content Gott (1013 Beiträge)
am 20.01.2010, 22:43 Uhr schrieb Raptor

lwulfe schrieb:

Aha, das hängt also mit der Alexa-Toolbar zusammen, dass Google diese Seiten auflistet?


xD, nein, der Alexa-Webcrawler kommt auf die Seite, wenn du die Alexa-Toolbar hast, und in den Webmastertools taucht die Seite auf, wenn du die Google-Toolbar hast. Aber wie gesagt, dass sie in den WMTs auftaucht, kannst du nicht verhindern (es sei denn, du killst die Google-Toolbar).


Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen

[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel

  • 1


« zurück zu: Sonstige

Das Seitenreport Forum hat aktuell 5273 Themen und 36107 Beiträge.
Insgesamt sind 48346 Mitglieder registriert.