spbot

Hallo Samuel,

samsenio schrieb:
<snip>

greift immer wieder auf meine Seite www.seoprofiler.com/bot/

Das ist lediglich der Bot der Site seoprofiler.com.
Sowohl der Zweck seines Besuchs als auch wie du den Bot in deiner robots.txt blocken kannst ist sehr schön auf der angegebenen Seite erklärt. Die Seitenbetreiber geben sogar die IP-Ranges zur Verifizierung ihres Bot an.
Für sich sieht die Infoseite zum Bot OK aus und macht einen seriösen Eindruck.

Servus,
Klaus

Der spbot ist einer der wenigen Bots, die ich nicht raus sperre. Scheint mir, wie gesagt, recht seriös zu sein.
Ist ein Projekt der Axandra GmbH, D-56424 Staudt, Germany (steht im Footer).

Laut Beschreibungsseite analysiert der Bot die Verlinkung des Webs.

Hallo Flo,
hast du eine Positiv- oder Negativliste der Bots, die zu sperren, bzw. durch zulassen wären?
Ich habe mir in der Richtung bisher noch keinen Kopf gemacht, weil ich da kein Gefahrenpotential gesehen habe.

lwulfe schrieb:

hast du eine Positiv- oder Negativliste der Bots, die zu sperren, bzw. durch zulassen wären?

Ich habe im letzten halben Jahr öfters die Logfiles analysiert und habe den eint oder anderen Bot angetroffen.
In meiner robots.txt sind die meisten gesperrt, zumindest die, welche auch auf die robots.txt achten.

Hallo Floh,

bisher habe ich mich auch noch nicht mit dieser Problematik beschäftigt. Ich habe ein wenig gegoo** und bin auf eine Ausperrung per htaccess gestoßen. Kann man so spider immer ausschließen, welche die robot.txt nicht beachten. Folgend der link dazu, Ausschluß per htaccess

www.user-agents.de/get_htaccess.php

Herzlichen dank an Alle für die kompetente fedbacks!

Möchte nur verhindern dass Seiten wie diese: www.strategicfirst.com auf meine Seite greifen und Datas der Öffentlichkeit publizieren.

@iwulfe.
Hier habe ich was gefunden könnte evtl. nützlich sein:

www.spider-trap.de/download.html

Raptor schrieb:

In meiner robots.txt sind die meisten gesperrt, zumindest die, welche auch auf die robots.txt achten.

Hallo Flo, schwer beindruckend, Deine robots.txt. Hat Deine/eine robots.txt die Kraft, die Bots wirklich auszusperren- oder lese ich Dein "zumindest..." so, dass die Befehle grundsätzlich nur empfehlenden Charakter haben, "nette Bots" also Deine/eine robots.txt respektieren, zudringliche aber nicht? (Für die Strengen im Forum: ich erinnere nicht, dass es dazu schon einen Thread gab. Aber das Thema scheint mir für manche Neulinge durchaus einer Erinnerung würdig, und es kommt meine Bequemlichkeit nach...) Fritz

georg123 schrieb:

Hat Deine/eine robots.txt die Kraft, die Bots wirklich auszusperren- oder lese ich Dein "zumindest..." so, dass die Befehle grundsätzlich nur empfehlenden Charakter haben, "nette Bots" also Deine/eine robots.txt respektieren, zudringliche aber nicht?

Die robots.txt ist nur eine "Wunschliste" von Seiten des Webmasters. Kein Robot muss die robots.txt akzeptieren. Folglich habe ich, wie gesagt, nur die Bots per robots.txt gesperrt, die diese auch beachten und deren Regeln einhalten (laut Angaben der Bot-Betreiber).
Irgendwelche Mail-Collectors oder Spambots per robots.txt auszusperren ist nur Zeit- und Traffic-Verschwendung, denn diese werden die robots.txt wohl kaum beachten. Um diese "bösen" Bot fernzuhalten, müssen serverseitige Kontrollen gemacht werden, wie IP-Sperre, etc.