blogtraffic
Avatar blogtraffic
Themenersteller
Freelancer
Neuling (3 Beiträge)

Seitenreport und der 403 Error

am 10.05.2009, 17:41 Uhr eröffnete blogtraffic folgenden Thread
Forum    1683 mal gelesen    3 Antwort(en).

Hi,

ich bin neu hier im Forum (aber schon länger "Gast") und der Grund ist ein 403 Fehler seitens meiner Server, wenn der Seitenreport-Bot versucht, Informationen zu sammeln.

So ungefähr sieht das aus:
hcmg120163.tuxtools.net - - [10/May/2009:16:55:21 +0200] "HEAD /favicon.ico HTTP/1.1" 403 - "-" "-"

Der Grund für den 403 Fehler ist eine fehlende Browser-Kennung des Spiders. Ich hatte das schonmal per eMail angeregt, das es besser wäre, wenn der Spider sich auch als solcher outet, sonst wird das Ganze als externer Scan/Hack-Versuch gewertet und abgewiesen (zumindest auf meinen Servern). Man lässt ja auch keine Fremden einfach so ins Haus

Weiterhin liegt recht selten das Favicon im root eines Servers, bei Blogs z.B. so gut wie nie. Da wäre es besser, sich schnell den Header der Seite zu schnappen und dort nach dem Favicon zu suchen.

Ich erhalte auf all meinen Seiten am Ende ein NaN%, obwohl alle geprüften Daten vorhanden sind.

Vielleicht kann sich der Chef mal drum kümmern

Grüsse


Alle Menschen sind klug!
Einige vorher, viele nachher ...

seitenreport
Avatar seitenreport
Inhaber
TYPO3 Senior Developer
Content Gott (1771 Beiträge)
am 12.05.2009, 01:11 Uhr schrieb seitenreport

Hallo Andreas,

die Umstellung des Seitenreport-Bots auf eine Realisierung per CURL (mit Browser-Kennung etc.) ist bereits in Arbeit.

Wird etwa bis zum nächsten Wochenende fertig sein.

Ich hatte vor einer Woche bereits Probe-Analysen mit dem neuen Bot auf deine Webseite machen lassen, der sich dann z.B. als Firefox ausgab.

Leider wurde der neue Prototyp-Bot ebenfalls von deiner Seite abgewiesen lol (ggf. IP-Lokation-Sperre, Seitenreport ist ja gehostet in Spanien).

Favicon => ebenfalls in Kürze, sollte bis zum Wochenende ebenfalls erledigt sein

NaN% => da wird noch eine Validierung der Werte fehlen => dito.

VG, Matthias


SEO Analyse und Website-Check mit Seitenreport

blogtraffic
Avatar blogtraffic
Freelancer
Neuling (3 Beiträge)
am 13.05.2009, 15:05 Uhr schrieb blogtraffic

Hi Matthias,

die einzigen Sperren gehen über GeoIP im Apache und dort will ich nur keine Besucher aus .ru, .cn, .tr und .jp, weil die die Spam- und Hacker-Stats anführen. Ich selbst wohn in Spanien, werd mich also nicht selbst aussperren Nutze auch cURL und ne Browser-Emu-Klasse und werd damit an den Servern durchgelassen. Global werden nur Clients durchgelassen, die ne Browser-Kennung haben (klar, kann man fälschen, aber 90% der Botnetze senden keine ).

Das wird schon

Grüsse
Andreas


Alle Menschen sind klug!
Einige vorher, viele nachher ...

blogtraffic
Avatar blogtraffic
Freelancer
Neuling (3 Beiträge)
am 12.07.2009, 01:00 Uhr schrieb blogtraffic

So, um den Fehler jetzt mal aufzuklären, hab ich etwas in den IP-Ranges rumgestöbert und festgestellt, das deine Bot-IP noch im Februar zu einem Russischen Netzwerk gehört hat. Deshalb wurde der Bot aufgrund der Herkunft "RU" ausgesperrt. Wann genau nun die IP nach Irland "ausgewandert" ist weiss ich nicht genau, aber die Juli-Datenbank zeigt jetzt "IE" für diese IP-Adresse an (vor dem Update "RU").

Einen Report habe ich schon generiert (sorry für 4x) und der gibt diesmal vernünftige Werte aus.

Grüsse
Andreas


Alle Menschen sind klug!
Einige vorher, viele nachher ...

  • 1


« zurück zu: Forum

Das Seitenreport Forum hat aktuell 5267 Themen und 36089 Beiträge.
Insgesamt sind 48167 Mitglieder registriert.