samsenio
Themenersteller
Pfleger
Beginner (17 Beiträge)

spbot

am 17.04.2010, 20:36 Uhr eröffnete samsenio folgenden Thread
Sonstige    3039 mal gelesen    9 Antwort(en).

ICh bin nicht von Fach aber Kennt jamand diese Seite? greift immer wieder auf meine Seite www.seoprofiler.com/bot/

Danke


klaus_b
Avatar klaus_b
Er ernährt mich ;-)
Content Meister (328 Beiträge)
am 17.04.2010, 20:54 Uhr schrieb klaus_b

Hallo Samuel,

samsenio schrieb:
<snip>
greift immer wieder auf meine Seite www.seoprofiler.com/bot/

Das ist lediglich der Bot der Site seoprofiler.com.
Sowohl der Zweck seines Besuchs als auch wie du den Bot in deiner robots.txt blocken kannst ist sehr schön auf der angegebenen Seite erklärt. Die Seitenbetreiber geben sogar die IP-Ranges zur Verifizierung ihres Bot an.
Für sich sieht die Infoseite zum Bot OK aus und macht einen seriösen Eindruck.

Servus,
Klaus


klaus_b@.NET über alles was an .NET und C# Spass macht.

Raptor
Avatar Raptor
IT-Student
Content Gott (1013 Beiträge)
am 17.04.2010, 21:01 Uhr schrieb Raptor

Der spbot ist einer der wenigen Bots, die ich nicht raus sperre. Scheint mir, wie gesagt, recht seriös zu sein.
Ist ein Projekt der Axandra GmbH, D-56424 Staudt, Germany (steht im Footer).

Laut Beschreibungsseite analysiert der Bot die Verlinkung des Webs.


Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen

[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel

lwulfe
Avatar lwulfe
Consultant
Content Halbgott (743 Beiträge)
am 17.04.2010, 22:50 Uhr schrieb lwulfe

Hallo Flo,
hast du eine Positiv- oder Negativliste der Bots, die zu sperren, bzw. durch zulassen wären?
Ich habe mir in der Richtung bisher noch keinen Kopf gemacht, weil ich da kein Gefahrenpotential gesehen habe.


Raptor
Avatar Raptor
IT-Student
Content Gott (1013 Beiträge)
am 18.04.2010, 01:07 Uhr schrieb Raptor

lwulfe schrieb:

hast du eine Positiv- oder Negativliste der Bots, die zu sperren, bzw. durch zulassen wären?


Ich habe im letzten halben Jahr öfters die Logfiles analysiert und habe den eint oder anderen Bot angetroffen.
In meiner robots.txt sind die meisten gesperrt, zumindest die, welche auch auf die robots.txt achten.


Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen

[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel

RobbyMe
Avatar RobbyMe
Teamleiter Verkauf Printmedien
Guru (228 Beiträge)
am 18.04.2010, 10:09 Uhr schrieb RobbyMe

Hallo Floh,

bisher habe ich mich auch noch nicht mit dieser Problematik beschäftigt. Ich habe ein wenig gegoo** und bin auf eine Ausperrung per htaccess gestoßen. Kann man so spider immer ausschließen, welche die robot.txt nicht beachten. Folgend der link dazu, Ausschluß per htaccess

www.user-agents.de/get_htaccess.php

Nun stellt sich für mich die Frage. Falls die Bots nicht überhand nehmen, ist eine Ausperrung über die robot.txt sinnvoller, da der Code beim Seitenaufruf nicht gelesen werden muss. Sehe ich das richtig?

Gruß Robert


Parkplatz Sharing in jeder deutschen St

samsenio
Pfleger
Beginner (17 Beiträge)
am 18.04.2010, 16:09 Uhr schrieb samsenio

Herzlichen dank an Alle für die kompetente fedbacks!
Möchte nur verhindern dass Seiten wie diese: www.strategicfirst.com auf meine Seite greifen und Datas der Öffentlichkeit publizieren.

Gruß


samsenio
Pfleger
Beginner (17 Beiträge)
am 19.04.2010, 18:57 Uhr schrieb samsenio

@iwulfe.
Hier habe ich was gefunden könnte evtl. nützlich sein:
www.spider-trap.de/download.html
-werde mich wohl damit auseinander setzen müssen.
Gruß, Samuel


georg123
Avatar georg123
Diplomökonom (Pensionär)
Content Halbgott (569 Beiträge)
am 19.04.2010, 19:33 Uhr schrieb georg123

Raptor schrieb:

In meiner robots.txt sind die meisten gesperrt, zumindest die, welche auch auf die robots.txt achten.


Hallo Flo, schwer beindruckend, Deine robots.txt. Hat Deine/eine robots.txt die Kraft, die Bots wirklich auszusperren- oder lese ich Dein "zumindest..." so, dass die Befehle grundsätzlich nur empfehlenden Charakter haben, "nette Bots" also Deine/eine robots.txt respektieren, zudringliche aber nicht? (Für die Strengen im Forum: ich erinnere nicht, dass es dazu schon einen Thread gab. Aber das Thema scheint mir für manche Neulinge durchaus einer Erinnerung würdig, und es kommt meine Bequemlichkeit nach...) Fritz


http://georg-hh.freimaurerei.de

Freiheit-Gleichheit-Brüderlichkeit, Toleranz und Humanität:
Dafür stehen und danach streben Freimaurer

Raptor
Avatar Raptor
IT-Student
Content Gott (1013 Beiträge)
am 19.04.2010, 20:00 Uhr schrieb Raptor

georg123 schrieb:

Hat Deine/eine robots.txt die Kraft, die Bots wirklich auszusperren- oder lese ich Dein "zumindest..." so, dass die Befehle grundsätzlich nur empfehlenden Charakter haben, "nette Bots" also Deine/eine robots.txt respektieren, zudringliche aber nicht?


Die robots.txt ist nur eine "Wunschliste" von Seiten des Webmasters. Kein Robot muss die robots.txt akzeptieren. Folglich habe ich, wie gesagt, nur die Bots per robots.txt gesperrt, die diese auch beachten und deren Regeln einhalten (laut Angaben der Bot-Betreiber).
Irgendwelche Mail-Collectors oder Spambots per robots.txt auszusperren ist nur Zeit- und Traffic-Verschwendung, denn diese werden die robots.txt wohl kaum beachten. Um diese "bösen" Bot fernzuhalten, müssen serverseitige Kontrollen gemacht werden, wie IP-Sperre, etc.


Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen

[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel

  • 1


« zurück zu: Sonstige

Das Seitenreport Forum hat aktuell 5267 Themen und 36093 Beiträge.
Insgesamt sind 48196 Mitglieder registriert.