Ich habe heute schon zum zweiten mal mittels Log-Files feststellen müssen, dass der Alexa-Bot Seiten meiner Website aufruft, welche als normaler User gar nicht erreicht werden können. Der einzige, der diese Seiten (einmal) aufgerufen hat, bin ich.
Daher vermute ich, dass die Alexa-Toolbar da die Finger im Spiel hat, sonst käme der Bot gar nicht an diese Informationen..
Ich kann mir sonst nicht erklären, warum der Alexa-Bot eine htaccess-geschützte php.ini aufrufen will...
Kann mir das jemand bestätigen? Hat jemand irgendwelche Erfahrungen damit gemacht? Und hat jemand mehr Infos zu dem Thema?
Mir ist derartiges noch nicht aufgefallen. Aber das muss nichts heißen, da ich die Alexa-Toolbar nur testweise für eine Woche installiert hatte.
Es ist natürlich gut möglich, dass Alexa zuerst einmal alle Seiten, die du aufrufst protokollierst (unabhängig vom Dateityp oder Zugriffsschutz). Geschützte oder sensible Bereiche würde ich daher nur mit einem Browser ohne Alexa-Toolbar (bzw. ähnlichen Plugins) ansurfen.
Mir ist ebenfalls ein solchens Verhalten unbekannt. Die Bots machen nur das, was ich Ihnen vorgab.
Allerdings könne an der These von Matthias etwas dran sein, dass beim öffnen Deiner Seite, alle zusammenhängenden Daten gescannt werden wollen, was nicht heißt, dass das auch umgesetzt wird.
Hmmm... schon interessant...
Aber man könnte es in robots.txt disablen probieren, oder? Das sollte klappen...
webcreator schrieb:
Aber man könnte es in robots.txt disablen probieren, oder? Das sollte klappen...
Ich hab\' jetzt eine für einen Bereich gesetzt. Mal schauen, was passiert.
Es scheint eine gewisse Verzögerung zu geben: Heute Morgen hat er eine Seite indexieren wollen, die es gar nie gab, allerdings auf einer Testseite (die nur ich kenne) verlinkt ist, die ich aber seit einer halben Woche nicht mehr aufgerufen habe.
Raptor schrieb:
webcreator schrieb:
Aber man könnte es in robots.txt disablen probieren, oder? Das sollte klappen...
Ich hab\' jetzt eine für einen Bereich gesetzt. Mal schauen, was passiert.
Es scheint eine gewisse Verzögerung zu geben: Heute Morgen hat er eine Seite indexieren wollen, die es gar nie gab, allerdings auf einer Testseite (die nur ich kenne) verlinkt ist, die ich aber seit einer halben Woche nicht mehr aufgerufen habe.
Hmm, dann erlaubst Du mit der robots.txt den Zugriff auf diese Datei bzw. auf den Ordner
der_booker schrieb:
Hmm, dann erlaubst Du mit der robots.txt den Zugriff auf diese Datei bzw. auf den Ordner
Jetzt nicht mehr..
Aber wie sollte ich denn auf die Idee kommen, etwas zu blockieren, was eigentlich für normale User (bzw. Bots) verborgen ist.
Jedoch scheint dies nun nicht ganz so verborgen zu sein wie man denken könnte, wenn man die Alexa-Toolbar installiert hat...
Ich hab soeben festgestellt das mein neues Projekt welches ich heute veröffentlicht habe bereits bei Alexa gelistet ist. Dabei ist die Domain erst eine Woche alt und hat keinen einzigen Backlink.
Selbstverständlich nutze ich ein Firefox Plugin (SearchStatus). *
Ich hab jeden Tag einmal die leere Domain besucht.
Anscheinend ist an dem Gerücht was dran.
* (SEO-Quake hab ich nicht jeden Tag an)
Beitrag erstellen
EinloggenKostenlos registrieren