spbot
Redaktionelle Einordnung
Diese archivierte Diskussion behandelt spbot aus Sicht der Rubrik SEO Sonstige.
Die Diskussion bleibt als Archiv nutzbar. Für die aktuelle Bewertung empfehlen sich ergänzend neuere Artikel, Tools oder eine konkrete Analyse.
Sinnvoll nutzbar bleibt der Thread vor allem als historischer Kontext, für typische Fragestellungen und zur Einordnung älterer Empfehlungen.
Einige im historischen Thread genannte Tools, Dienste oder externe Links könnten heute nicht mehr verfügbar oder inhaltlich überholt sein. Nutzen Sie sie bitte nur mit zusätzlicher Prüfung.
Startbeitrag
Originaler Foreninhalt in modernisierter Darstellung.
ICh bin nicht von Fach aber Kennt jamand diese Seite? greift immer wieder auf meine Seite www.seoprofiler.com/bot/
Danke
Antworten
9 BeiträgeHallo Samuel,
samsenio schrieb:
<snip>greift immer wieder auf meine Seite www.seoprofiler.com/bot/
Das ist lediglich der Bot der Site seoprofiler.com.
Sowohl der Zweck seines Besuchs als auch wie du den Bot in deiner robots.txt blocken kannst ist sehr schön auf der angegebenen Seite erklärt. Die Seitenbetreiber geben sogar die IP-Ranges zur Verifizierung ihres Bot an.
Für sich sieht die Infoseite zum Bot OK aus und macht einen seriösen Eindruck.
Servus,
Klaus
Der spbot ist einer der wenigen Bots, die ich nicht raus sperre. Scheint mir, wie gesagt, recht seriös zu sein.
Ist ein Projekt der Axandra GmbH, D-56424 Staudt, Germany (steht im Footer).
Laut Beschreibungsseite analysiert der Bot die Verlinkung des Webs.
Hallo Flo,
hast du eine Positiv- oder Negativliste der Bots, die zu sperren, bzw. durch zulassen wären?
Ich habe mir in der Richtung bisher noch keinen Kopf gemacht, weil ich da kein Gefahrenpotential gesehen habe.
lwulfe schrieb:
hast du eine Positiv- oder Negativliste der Bots, die zu sperren, bzw. durch zulassen wären?
Ich habe im letzten halben Jahr öfters die Logfiles analysiert und habe den eint oder anderen Bot angetroffen.
In meiner robots.txt sind die meisten gesperrt, zumindest die, welche auch auf die robots.txt achten.
Hallo Floh,
bisher habe ich mich auch noch nicht mit dieser Problematik beschäftigt. Ich habe ein wenig gegoo** und bin auf eine Ausperrung per htaccess gestoßen. Kann man so spider immer ausschließen, welche die robot.txt nicht beachten. Folgend der link dazu, Ausschluß per htaccess
www.user-agents.de/get_htaccess.php
Nun stellt sich für mich die Frage. Falls die Bots nicht überhand nehmen, ist eine Ausperrung über die robot.txt sinnvoller, da der Code beim Seitenaufruf nicht gelesen werden muss. Sehe ich das richtig?
Gruß Robert
Herzlichen dank an Alle für die kompetente fedbacks!
Möchte nur verhindern dass Seiten wie diese: www.strategicfirst.com auf meine Seite greifen und Datas der ffentlichkeit publizieren.
Gruß
@iwulfe.
Hier habe ich was gefunden könnte evtl. nützlich sein:
www.spider-trap.de/download.html
-werde mich wohl damit auseinander setzen müssen.
Gruß, Samuel
Raptor schrieb:
In meiner robots.txt sind die meisten gesperrt, zumindest die, welche auch auf die robots.txt achten.
Hallo Flo, schwer beindruckend, Deine robots.txt. Hat Deine/eine robots.txt die Kraft, die Bots wirklich auszusperren- oder lese ich Dein "zumindest..." so, dass die Befehle grundsätzlich nur empfehlenden Charakter haben, "nette Bots" also Deine/eine robots.txt respektieren, zudringliche aber nicht? (Für die Strengen im Forum: ich erinnere nicht, dass es dazu schon einen Thread gab. Aber das Thema scheint mir für manche Neulinge durchaus einer Erinnerung würdig, und es kommt meine Bequemlichkeit nach...) Fritz
georg123 schrieb:
Hat Deine/eine robots.txt die Kraft, die Bots wirklich auszusperren- oder lese ich Dein "zumindest..." so, dass die Befehle grundsätzlich nur empfehlenden Charakter haben, "nette Bots" also Deine/eine robots.txt respektieren, zudringliche aber nicht?
Die robots.txt ist nur eine "Wunschliste" von Seiten des Webmasters. Kein Robot muss die robots.txt akzeptieren. Folglich habe ich, wie gesagt, nur die Bots per robots.txt gesperrt, die diese auch beachten und deren Regeln einhalten (laut Angaben der Bot-Betreiber).
Irgendwelche Mail-Collectors oder Spambots per robots.txt auszusperren ist nur Zeit- und Traffic-Verschwendung, denn diese werden die robots.txt wohl kaum beachten. Um diese "bösen" Bot fernzuhalten, müssen serverseitige Kontrollen gemacht werden, wie IP-Sperre, etc.