Thumbnailerzeugung beschleunigen

Aus

Einleitung

ACHTUNG BAUSTELLE, EINTRAG WIRD ÜBERARBEITET!

Im folgenden möchte ich beschreiben, wie man auf einer DS ohne Copozessor die Thumbnailerzeugung der Photo Station beschleunigen kann. Ansonsten kann man beim Einspielen von Fotos auf "kleinen" DS, wie meiner DS210j Tage mit 100% Prozessorlast warten. Alle Hintergrundinfos dazu gibt es hier: http://forum.synology.com/enu/viewtopic.php?f=17&t=37379 und hier: http://forum.synology.com/enu/viewtopic.php?f=17&t=24083

Es gibt hierzu verschiedene Möglichkeiten, die ich kurz aufzählen möchte:

- Entfernung der "unsharp"-option aus den Berechnungsparametern der Thumbnailberechnung.

- Hinzufügen des Parameters "-filter point" (was wohl das Bild weicher macht, bisher nicht groß bemerkt)

- Statt Berechnung eines Thumbnails einfach die Verlinkung auf die Orginal-Datei oder den nächst größeren Thumbnail. (Nebenwirkungen sind zu prüfen)

- Zur Berechnung des Thumbnails nicht die (mehrere MB große) Orginal-Datei nutzen, sondern den nächst größeren Thumbnail. Ab DSM 4.1 ist das teilweise schon umgesetzt. Die DS erzeugt zunächst die XL Thumbnails, und daraus alle anderen.


Ich folgende Skript setzt alle diese Wege um, um den Geschwindigkeitsgewinn zu maximieren. Auch wenn dabei eine Beschleunigung um den Faktor 5 zu erreichen ist, kann die Erzeugung immer noch Tage oder Wochen dauern, aber immer noch besser wie Monate. Es ist offensichtlich, dass sich manche Optionen gegenseitig ausschließen, daher sollte das den Wünschen entsprechend konfiguriert werden. Welche Thumbnailgröße für was benötigt wird kann man oben nachlesen und das reiche if evtl. auch noch hier nach.

Bewirken sollen die Änderungen, dass bei der Berechnung weniger Floatingpoint-Berechnungen durchgeführt werden, worin die einfachen DS ohne Coprozessor ziemlich langsam sind. Es liegt auch ein Script zur Performance-Messung bei, so dass man direkt Prüfen kann, wo man mit seinen Parametern steht. Ihr könnt gerne auch ein paar Benchmarks im Forum posten.

Alles was jetzt kommt habe ich auf einer DS212+ mit DSM4.0 getestet und es scheint zu funktionieren. Die Installationsroutine lässt sich aber auch zur Deinstallation verwenden.

ACHTUNG, ab DSM 4.1 funktioniert es im Moment NICHT, update kommt!

Die Anwendung erfolgt jedoch auf eigenes Risiko, schließlich mache ich das hier nur als Hobby!

Das alles ist noch beta, Tester und Feedback willkommen!

Voraussetzungen

Je nach Ort der Autostart-Datei evtl.:

  • optware/IPKG installiert

Skripte installieren

Bitte die Skripte als Paket hier runter laden:

Link

und den inhalt in der public-Freigabe unter Windows in folgendes Verzeichnis 

root\convert

oder auf der Syno unter 

\volume1\public\root\convert

entpacken.

was die Routine macht kann mit einem Editor nachgelesen werden.

Für mich ist der Vorteil, dass Skript hier abzulegen, dass ich die Konfiguration mit einem Linux-tauglichen Editor ändern kann. (Bitte nicht Notepad).

Jetzt über SSH/Telnet auf der Syno einloggen und in das o.g. Verzeichnis wechseln und die Installationsroutine ausführbar machen und ausführen: 

cd \volume1\public\root\convert
chmod 755 S99convpatch.sh
./S99convpatch.sh start

Damit ist sie "Umleitung" über die installierte PERL-Routine für den convert "eingehängt"


AB HIER ALT, BITTE NICHT BERÜCKSICHTIGEN, weiter geht es bei Konfiguration!


alles was zu tun ist, ist im Verzeichnis /opt/etc/init.d eine Datei z.B. namens S99thumb.sh mit folgendem Inhalt erstellen: 

#!/bin/sh

case $1 in
start)
        cd /usr/syno/etc.defaults
        grep -q 'unsharp' thumb.conf 
        if [[ $? -eq 0 ]] 
        then 
         echo gefunden
         mv thumb.conf thumb.conf.old
         grep -v unsharp thumb.conf.old > thumb.conf
        fi
        grep -q 'unsharp' thumb_high.conf
        if [[ $? -eq 0 ]]
        then
         echo high gefunden
         mv thumb_high.conf thumb_high.conf.old
         grep -v unsharp thumb_high.conf.old > thumb_high.conf
        fi
         /usr/syno/etc/rc.d/S77synomkthumbd.sh stop
         /usr/syno/etc/rc.d/S77synomkthumbd.sh start
 
        ;;
stop)
        cd /usr/syno/etc.defaults
        if [  -f thumb.conf.old ]
        then
        rm thumb.conf
        mv thumb.conf.old thumb.conf
        else
         echo restoring thumb.conf.old failed, file not found!
        fi
        if [  -f thumb_high.conf.old ]
        then
        rm thumb_high.conf
        mv thumb_high.conf.old thumb_high.conf
        else
         echo restoring thumb_high.conf.old failed, file not found!
        fi

        /usr/syno/etc/rc.d/S77synomkthumbd.sh stop
        /usr/syno/etc/rc.d/S77synomkthumbd.sh start

        ;;
*)
        echo "Usage: $0 [start|stop]"
        ;;
esac

Das Skript braucht die Rechte "755", z.B. mit 

chmod 755 S99thumb.sh

Wenn das o.g. Verzeichnis nicht vorhanden ist, könnte man es auch unter /usr/syno/etc.defaults/rc.d/ oder /usr/local/etc/rc.d/ ablegen. Ich weiß nicht, in wie weit der Inhalt dieser Verzeichnisse bei einem Diskstation update erhalten bleibt. Also kontrollieren!

Konfiguration

Jetzt kann die Funktion des Patches noch individuell eingerichtet werden.

Ich zum Beispiel nutze die Möglichkeit der Verlinkung nicht, da ich ein iPad nutze und daher z.B. die XL-Thumbnails gerne erzeuge, um den Datentransfer zum iPad kein zu halten. Wer aber weiß, was er braucht, könnte durch ein einfachen Verlinken der XL-Thumbnails die Erzeugung nochmals beschleunigen und Speicherplatz auf der Platte sparen.

Alle Einstellungen erfolgen in der Datei /root/convert/convert_patch.pl

Sie können während der Thumbnail-Erzeugung geändert werden und werden direkt aktiv. Aber Achtung, keinen Syntax-Fehler einbauen, sonst scheitern die Thumbnails!

Dir Konfiguration erfolgt in den ersten 30 Zeilen: 


#!/usr/bin/perl -w

# Convert-patch V0.81, 2.9.2012 by Anna Konda
# Made for DSM 4.1

@new_args = ("-filter","point"); # Where we are going to copy the arguments
#@new_args = (); 
$doLnk = 0;     # Flag meaning that we can generate a symbolic link to the original file
$chgSource = 0; # Flag meaning that we have to change the source to the next larger thumbnail.
$copyPath = ""; # The path where we are generation the thumbnails. It comes in the  registry:temporary-path parameter
$date=`date +\%m-\%d`;
$logfile = "/volume1/public/_logs/conv.txt"; # Logfile for warnings
$isRaw=0;       # for RAW-Files no links, since original is no jpg!
$refFile="";    # Reference file for source change.
$targetFile="";
$debug=1;

#push @new_args,"-filter";
#push @new_args,"point";

for $arg(@ARGV) {
  #Detect the folder of the thumbnails
  if($arg =~ m/^registry.temporary.path./) {
    $copyPath = $arg;
    $copyPath =~ s/^registry.temporary.path.//;
  }
  elsif($arg =~ m/THUMB_RAW.jpg$/){ $isRaw = 1; }

#               thumb size   link/calc    change source   to what
  elsif($arg eq "1280x1280"){ $doLnk = 0; $chgSource = 0; $refFile="ORG";                     $targetFile="/SYNOPHOTO:THUMB_XL.jpg"; }      
  elsif($arg eq "800x800")  { $doLnk = 0; $chgSource = 0; $refFile="/SYNOPHOTO:THUMB_XL.jpg"; $targetFile="/SYNOPHOTO:THUMB_L.jpg"; }
  elsif($arg eq "640x640")  { $doLnk = 0; $chgSource = 0; $refFile="/SYNOPHOTO:THUMB_L.jpg";  $targetFile="/SYNOPHOTO:THUMB_B.jpg"; }    
  elsif($arg eq "320x320")  { $doLnk = 0; $chgSource = 0; $refFile="/SYNOPHOTO:THUMB_B.jpg";  $targetFile="/SYNOPHOTO:THUMB_M.jpg";}        
  elsif($arg eq "120x120")  { $doLnk = 0; $chgSource = 0; $refFile="/SYNOPHOTO:THUMB_M.jpg";  $targetFile="/SYNOPHOTO:THUMB_S.jpg"; }                                                             
#  elsif($arg eq "-size") { $arg = "-sample"; } #makes no sense in my optinion and causes bad quality!
  
  push @new_args, $arg;
}

Der aktuelle Stand des Skriptes mag leicht abweichen.

Die Zeile mit -filter point setzt einen schnelleren Umrechungsalgo, wenn die Bilder zu schlecht scheinen, kann diese Zeile auskommentiert und die folgende einkommentiert werden. das debug-flag erzeugt debug-Ausgaben in die log-Datei (/volume1/public/_logs/conv.txt) für jedes Thumbnail. Achtung, dass kann recht viel sein. debug=0 ist aus. Im unteren Bereich, in den Zeilen mit den Bildgrößen, kann mit $doLnk=1 festgelegt werden, dass das Thaumbnail nicht berechnet wird, sondern nur ein link zu $refFile erzeugt wird. Dies spart Zeit und Platz, die Nebenwirkungen kenne ich noch nicht. Mit $chgSource kann man festlegen, dass das Thumbnail nicht von der Orginal oder XL-Datei berechnet wird, sondern vom nächstgrößeren Thumbnail. Dies setzt jedoch voraus, dass das nächstgrößere Thumbnail existiert. Diese Funktion bitte im Moment noch nicht nutzen, da ich bei DSM 4.1 die Reihenfolge noch nicht im Griff habe. Außerdem nutzt DSM 4.1 eh schon immer das XL-Thumbnail als Quelle, das ist schon gut. $targetfile bitte nicht ändern.

So das war es schon fast. Beim Debug-output kann man die Rechenzeiten sehen. Man kann aber auch die speed.sh-Routine nutzen, wenn man gerade viele Thumbnails erzeugt. Diese Routine zählt ohne Patch die M-Thumbnails in /volume1/photo, dann wartet sie 600sec und zählt nochmal. Dann hängt sie den Patch wieder ein, zählt nochmal, wartet wieder 600sec und zählt nochmal. Daraus kann man die Beschleunigung ungefähr abschätzen. Alles klar?

Viel Spaß beim Testen, Anna

Hilfe/Fragen

Bei anderen Fragen/Problemen (oder Erfolgsmeldungen) bitte hier http://www.synology-forum.de/showthread.html?25372-Fragen-Diskussion-Feedback-zu-Wikieintrag-Thumbnailerzeugung-convert-beschleunigen&p=204758#post204758 posten.

Quellen

siehe oben.

Abgerufen von „https://www.synology-wiki.de/index.php?title=Thumbnailerzeugung_beschleunigen&oldid=5696“