blogtraffic
Themenersteller
Freelancer
Neuling (3 Beiträge)
Seitenreport und der 403 Error
Hi,
ich bin neu hier im Forum (aber schon länger "Gast") und der Grund ist ein 403 Fehler seitens meiner Server, wenn der Seitenreport-Bot versucht, Informationen zu sammeln.
So ungefähr sieht das aus:
hcmg120163.tuxtools.net - - [10/May/2009:16:55:21 +0200] "HEAD /favicon.ico HTTP/1.1" 403 - "-" "-"
Der Grund für den 403 Fehler ist eine fehlende Browser-Kennung des Spiders. Ich hatte das schonmal per eMail angeregt, das es besser wäre, wenn der Spider sich auch als solcher outet, sonst wird das Ganze als externer Scan/Hack-Versuch gewertet und abgewiesen (zumindest auf meinen Servern). Man lässt ja auch keine Fremden einfach so ins Haus
Weiterhin liegt recht selten das Favicon im root eines Servers, bei Blogs z.B. so gut wie nie. Da wäre es besser, sich schnell den Header der Seite zu schnappen und dort nach dem Favicon zu suchen.
Ich erhalte auf all meinen Seiten am Ende ein NaN%, obwohl alle geprüften Daten vorhanden sind.
Vielleicht kann sich der Chef mal drum kümmern
Grüsse
Alle Menschen sind klug!
Einige vorher, viele nachher ...
seitenreport
Inhaber
TYPO3 Senior Developer
Content Gott (1772 Beiträge)
Hallo Andreas,
die Umstellung des Seitenreport-Bots auf eine Realisierung per CURL (mit Browser-Kennung etc.) ist bereits in Arbeit.
Wird etwa bis zum nächsten Wochenende fertig sein.
Ich hatte vor einer Woche bereits Probe-Analysen mit dem neuen Bot auf deine Webseite machen lassen, der sich dann z.B. als Firefox ausgab.
Leider wurde der neue Prototyp-Bot ebenfalls von deiner Seite abgewiesen lol (ggf. IP-Lokation-Sperre, Seitenreport ist ja gehostet in Spanien).
Favicon => ebenfalls in Kürze, sollte bis zum Wochenende ebenfalls erledigt sein
NaN% => da wird noch eine Validierung der Werte fehlen => dito.
VG, Matthias
SEO Analyse und Website-Check mit Seitenreport
Hi Matthias,
die einzigen Sperren gehen über GeoIP im Apache und dort will ich nur keine Besucher aus .ru, .cn, .tr und .jp, weil die die Spam- und Hacker-Stats anführen. Ich selbst wohn in Spanien, werd mich also nicht selbst aussperren Nutze auch cURL und ne Browser-Emu-Klasse und werd damit an den Servern durchgelassen. Global werden nur Clients durchgelassen, die ne Browser-Kennung haben (klar, kann man fälschen, aber 90% der Botnetze senden keine ).
Das wird schon
Grüsse
Andreas
Alle Menschen sind klug!
Einige vorher, viele nachher ...
So, um den Fehler jetzt mal aufzuklären, hab ich etwas in den IP-Ranges rumgestöbert und festgestellt, das deine Bot-IP noch im Februar zu einem Russischen Netzwerk gehört hat. Deshalb wurde der Bot aufgrund der Herkunft "RU" ausgesperrt. Wann genau nun die IP nach Irland "ausgewandert" ist weiss ich nicht genau, aber die Juli-Datenbank zeigt jetzt "IE" für diese IP-Adresse an (vor dem Update "RU").
Einen Report habe ich schon generiert (sorry für 4x) und der gibt diesmal vernünftige Werte aus.
Grüsse
Andreas
Alle Menschen sind klug!
Einige vorher, viele nachher ...
Das Seitenreport Forum hat aktuell 5273 Themen und 36107 Beiträge.
Insgesamt sind 48345 Mitglieder registriert.
Beitrag erstellen
EinloggenKostenlos registrieren