ia_archiver treibt Unfug

Mir ist derartiges noch nicht aufgefallen. Aber das muss nichts heißen, da ich die Alexa-Toolbar nur testweise für eine Woche installiert hatte.

Es ist natürlich gut möglich, dass Alexa zuerst einmal alle Seiten, die du aufrufst protokollierst (unabhängig vom Dateityp oder Zugriffsschutz). Geschützte oder sensible Bereiche würde ich daher nur mit einem Browser ohne Alexa-Toolbar (bzw. ähnlichen Plugins) ansurfen.

Mir ist ebenfalls ein solchens Verhalten unbekannt. Die Bots machen nur das, was ich Ihnen vorgab.

Allerdings könne an der These von Matthias etwas dran sein, dass beim öffnen Deiner Seite, alle zusammenhängenden Daten gescannt werden wollen, was nicht heißt, dass das auch umgesetzt wird.

Hmmm... schon interessant...
Aber man könnte es in robots.txt disablen probieren, oder? Das sollte klappen...

webcreator schrieb:

Aber man könnte es in robots.txt disablen probieren, oder? Das sollte klappen...

Ich hab\' jetzt eine für einen Bereich gesetzt. Mal schauen, was passiert.

Es scheint eine gewisse Verzögerung zu geben: Heute Morgen hat er eine Seite indexieren wollen, die es gar nie gab, allerdings auf einer Testseite (die nur ich kenne) verlinkt ist, die ich aber seit einer halben Woche nicht mehr aufgerufen habe.

Raptor schrieb:

webcreator schrieb:

Aber man könnte es in robots.txt disablen probieren, oder? Das sollte klappen...

Ich hab\' jetzt eine für einen Bereich gesetzt. Mal schauen, was passiert.

Es scheint eine gewisse Verzögerung zu geben: Heute Morgen hat er eine Seite indexieren wollen, die es gar nie gab, allerdings auf einer Testseite (die nur ich kenne) verlinkt ist, die ich aber seit einer halben Woche nicht mehr aufgerufen habe.

Hmm, dann erlaubst Du mit der robots.txt den Zugriff auf diese Datei bzw. auf den Ordner

der_booker schrieb:

Hmm, dann erlaubst Du mit der robots.txt den Zugriff auf diese Datei bzw. auf den Ordner

Jetzt nicht mehr..

Aber wie sollte ich denn auf die Idee kommen, etwas zu blockieren, was eigentlich für normale User (bzw. Bots) verborgen ist.
Jedoch scheint dies nun nicht ganz so verborgen zu sein wie man denken könnte, wenn man die Alexa-Toolbar installiert hat...

Ich hab soeben festgestellt das mein neues Projekt welches ich heute veröffentlicht habe bereits bei Alexa gelistet ist. Dabei ist die Domain erst eine Woche alt und hat keinen einzigen Backlink.

Selbstverständlich nutze ich ein Firefox Plugin (SearchStatus). *
Ich hab jeden Tag einmal die leere Domain besucht.

Anscheinend ist an dem Gerücht was dran.


* (SEO-Quake hab ich nicht jeden Tag an)