Neu: Eigener Screenshot-Dienst von Seitenreport

Die Anzahl der aktuell bereits fertig erstellten Screenshots kann direkt live auf
web-snapper.de eingesehen werden.

Alle 15 Sekunden wird ein neuer Screenshot erstellt.

Aktuelle Anzahl von Screenshots in der Datenbank: 188
Geschätzte Dauer bis alle 150.000 Ranking-Websites ge-screen-shotted wurden: ca. 2 Wochen
Geschätzte Datenkapazität nach den 2 Wochen: nur 4 GigaByte

P.S.: wer den Screenshot-Dienst auf seiner eigenen Website nutzen möchte (Webkataloge, Blogs usw.), einfach eine E-Mail an mich schreiben: info@seitenreport.de

Matthias

seitenreport schrieb:
...
Fragen und Anmerkungen sind natürlich jederzeit willkommen.
...

Hi Matthias,

ich hätte da ein paar Kleinigkeiten.

Original png 20,9kb
<img src="http://web-snapper.de/screenshot.php?url=http://www.xing.com[/img]

Optimiertes png 15,9kb
[img]http://ultima-project.net/xing.png" alt="" />

Optimiertes jpg 9,7kb


Der einfache png optimizer verkleinert die Grafiken in der Regel um ca.25% so wäre deine DB nur noch 3GB groß. Es wäre auch praktisch wenn in den Grafiken die Caching Header gesetzt werden, zb wann der Screenshot gemacht wurde, wann er aktualisiert wird bzw. ausläuft und der eTag. So hat man kein Nachteil wenn man den Service nutzt. Kleinere Dateigrößen sorgen für ein schnelleres laden und weniger Traffic das wiederum Google & Co. belohnt.


Schöne Grüße
Thomas

Hallo Ultima,

super, vielen Dank!

Wird schnellstmöglich eingebaut.

Hast Du zufällig einen ImageMagick Convert-Befehl
für die entsprechenden Bild-Komprimierungen parat?

Beste Grüße,
Matthias

Nein für Image Magick nicht, ich arbeite meistens mit optipng, pngcrush und pngnq über die Konsole. Das Beispiel oben hab ich mit
[sh]optipng -o7 xing.png[/sh]
erstellt.

Gruß Thomas

Ultima schrieb:

Nein für Image Magick nicht, ich arbeite meistens mit optipng, pngcrush und pngnq über die Konsole. Das Beispiel oben hab ich mit
[sh]optipng -o7 xing.png[/sh]
erstellt.

Sehr fein, kannte ich bisher nicht. Danke! :wink:

Gerade eingebaut, wird jetzt für alle neu erstellten Screenshots mit der Option -o5 verwendet. -o7 dann sobald zu allen Ranking-Websites ein Screenshot vorhanden ist.

Beste Grüße,
Matthias

Hallo Matthias,

wie hast du das Rendern des HTML technisch umgesetzt?
Ich frage rein interesse halber, weil ich vor einiger Zeit für den thumbscreator.net die Engine geschrieben habe.
Mich würde einfach das herangehen in der PHP/Linux-Welt interessieren.

Servus,
Klaus

klaus_b@.NET über alles was an .NET und C# Spass macht.

klaus_b schrieb:

Hallo Matthias,

wie hast du das Rendern des HTML technisch umgesetzt?
Ich frage rein interesse halber, weil ich vor einiger Zeit für den thumbscreator.net die Engine geschrieben habe.
Mich würde einfach das herangehen in der PHP/Linux-Welt interessieren.

Hallo Klaus,

ich nutze hierzu einen virtuellen Screen, den ich per Xvfb aufbaue. Ãœber ein Python-Script lasse ich mir dann via GTK+ die Website aufrufen und hole vom GTK Fenster einen Screenshot. Bei etwaigen Timeouts (>=15 sec.) lasse ich das Script abbrechen, um kein Endlosladen bei fehlerhaften Websites zu erzeugen.

Vorteil bei der Verwendung von Python/GTK: man benötigt keinen Firefox (wie ich ihn z.B. bei der Google Pagespeed Online-Analyse verwende), wodurch das Ganze erheblich performanter und weniger ressourcenlastig wird.

Das Script läuft bei mir als "cron" in 15-Sekunden-Schritten (alle 15 sec. ein Screenshot).

Wie ist die Herangehensweise bei ASP/.NET ?

Beste Grüße,
Matthias

Auf der Seite vom Snapper steht etwas von Plugins für CM-Systeme, hast du da schon genauere Vorstellungen? Denn was Joomla angeht könnte ich das entsprechende Plugin/Modul schreiben, wenn du nix dagegen hast.

Und wo wir gerade bei APIs sind.

www.seitenreport.de/verhaltensregeln.html

Hallo Matthias,

erstmal Danke für die ehrliche Antwort. Viele Betreiber zieren sich mit der Herausgabe von Informationen.

seitenreport schrieb:
Wie ist die Herangehensweise bei ASP/.NET ?

Eigentlich ganz Ähnlich, aber doch ganz anders
Unter .NET habe ich einen Wrapper zur Vefügung, der die COM-Schnittstelle des jeweils aktuell installierten IE zur Verfügung stellt. So übernimmt der IE das rendern der Seite im Speicher ohne UI. Wenn der IE signalisiert dass die Seite fertig geladen wurde, wird eine Screenshot im Speicher erstellt. Es ist zwar nicht genau das was da vor sich geht, aber diese Beschreibung trifft es am besten. Wenn der Screenshot erstellt wurde, wird er in ein Shared-Memory Segment geschrieben und der Renderprozess wird beendet. Parallel läuft ein Timeout-Wächter, der nach 30 Sekunden den Prozess abbricht. Anschliesend wird, als zweite Chance, der Prozess noch einmal mit 60 Sekunden Timeout gestartet. Schlägt auch der fehl, wird die Seite als Fehlerhaft markiert und eine Fehlergrafik zurückgegeben.
Wenn der Renderprozess erfolgrich beendet wurde, wird die Grafik aus dem Shared-Memory Segment gelesen und entprechend skaliert. Anschliesend wird sie als Base64-String in die SQL Datenbank geschrieben.

Wir hatten Anfangs Performanceprobleme mit der Speicherauslastung auf SharedHosting Systemen. Bei einem Extremtest mit 40000 Anfragen in der Queue merkten wir schnell, dass bei der Parallelverarbeitung die vorhandenen Ressourcen an ihre Grenzen stießen. Also wurde eine konfigurierbare Ãœberwachung der verwendeten Arbeitsspeichers eingebaut, der beim Erreichen des eingestellten Grenzwert die Prozesse recycled und so den RAM wieder freigibt.

Servus,
Klaus

klaus_b@.NET über alles was an .NET und C# Spass macht.

Ultima schrieb:

Auf der Seite vom Snapper steht etwas von Plugins für CM-Systeme, hast du da schon genauere Vorstellungen? Denn was Joomla angeht könnte ich das entsprechende Plugin/Modul schreiben, wenn du nix dagegen hast.

Hallo Thomas,

da war Roman (romacron) leider etwas schneller. Aber vielleicht könnt ihr gemeinsam dran basteln. Schreib ihm am Besten kurz eine PN und frag mal nach.

Ultima schrieb:

Und wo wir gerade bei APIs sind.

www.seitenreport.de/verhaltensregeln.html

Bei den Verhaltensregel Punkt 6 steht etwas von API für Seitenreport, wo findet man genauere Details dazu? Oder sind damit nur die HP Buttons gemeint?

Die API Details sind noch nicht öffentlich, da die API sich noch im Aufbau befindet. Später finden sich die zugehörigen Infos auf api.seitenreport.de.

@klaus_b: Danke Dir für die Infos. Das ist tatsächlich nicht sooo verschieden.

Beste Grüße,
Matthias