kdenlive: Stabilität, Skalierbarkeit und Performance

gehrke · 16 Apr. 2016

Moin *,

nachdem ich mich jahrelang erfolgreich um den Zeitfresser 'Videoschnitt' drücken konnte, hat es mich nun doch erwischt. Nun stehe ich hier mit ca. 1h Rohmaterial und kdenlive.

Das letzte Mal hatte ich vor 5 Jahren mit kino experimentiert, dagegen ist kdenlive in der Version 0.9.10 eine Wohltat. Bin durchaus angetan davon und die ersten Ergebnisse können sich sehen lassen. Das Programm ist einfach zu bedienen, absturzfrei und skaliert gut.

cu, gehrke

EIDT:
Ausgelagert von http://linux-club.de/forum/viewtopic.php?f=87&t=121109
In diesem Thread soll es um die Aspekte Skalierbarkeit und Performance gehen.

gehrke · 16 Apr. 2016

gehrke schrieb:
skaliert gut

Hab' damit mal etwas rumgespielt, teils aus Interesse, teils weil der Abgabetermin näher rückt (das vollständige Video rendert auf meiner alten Büchse satte 13h!).

Ich habe das Projekt inkl. sämtlicher Files mal auf einen älteren, aber potenten Server geschoben. Dort läuft eine aktuelle Version von kdenlive, wo man explizit die Anzahl der Threads für das Rendering einstellen kann. Mit einem Thread will der Server satte 9h rendern.

Wenn ich das ganze aber auf 22 Threads/Kerne verteile, dann lande ich bei 1,5h für das Rendering:

Code:

top - 18:45:40 up  1:00,  3 users,  load average: 8,31, 7,36, 5,44
Tasks: 415 total,   1 running, 414 sleeping,   0 stopped,   0 zombie
%Cpu0  : 18,5 us,  0,3 sy, 43,8 ni, 37,4 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu1  : 10,1 us,  0,3 sy, 49,0 ni, 40,6 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu2  : 50,8 us,  0,3 sy, 30,9 ni, 17,9 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu3  : 10,3 us,  0,0 sy, 58,5 ni, 31,2 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu4  : 18,3 us,  0,3 sy, 38,9 ni, 42,5 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu5  : 48,5 us,  1,0 sy, 20,9 ni, 29,6 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu6  : 15,6 us,  0,3 sy, 37,9 ni, 46,2 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu7  : 21,1 us,  0,7 sy, 36,0 ni, 42,2 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu8  : 25,0 us,  1,3 sy, 40,3 ni, 33,3 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu9  : 14,3 us,  0,3 sy, 36,9 ni, 48,5 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu10 :  7,0 us,  0,3 sy, 57,7 ni, 35,0 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu11 : 10,3 us,  0,0 sy, 50,2 ni, 39,5 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu12 : 27,2 us,  0,7 sy, 32,1 ni, 40,1 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu13 : 17,3 us,  0,3 sy, 44,5 ni, 37,9 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu14 :  2,3 us,  0,3 sy, 72,3 ni, 25,1 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu15 : 12,0 us,  0,3 sy, 52,5 ni, 35,2 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu16 : 12,3 us,  0,7 sy, 52,3 ni, 34,8 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu17 :  8,7 us,  0,3 sy, 52,8 ni, 38,1 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu18 : 16,0 us,  0,3 sy, 47,0 ni, 36,7 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu19 : 24,5 us,  0,3 sy, 37,7 ni, 37,4 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu20 :  6,0 us,  1,3 sy, 54,2 ni, 38,5 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu21 : 10,4 us,  0,0 sy, 46,8 ni, 42,8 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu22 : 14,0 us,  0,3 sy, 44,7 ni, 41,0 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
%Cpu23 : 20,7 us,  0,3 sy, 38,7 ni, 40,3 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem : 49454216 total, 23311156 free,  7024036 used, 19119024 buff/cache
KiB Swap:   976892 total,   976892 free,        0 used. 42212340 avail Mem

Vielleicht bringt eine RAM-Disk noch etwas mehr Performance...

gehrke · 16 Apr. 2016

Entschuldigt bitte den neuerlichen OffTopic-Ausflug - ich konnte einfach nicht wiederstehen. Der TE möge mir verzeihen...

gehrke schrieb:
Vielleicht bringt eine RAM-Disk noch etwas mehr Performance...

Ich habe eine RAM-Disk eingerichtet

Code:

[root@j8 video]# mount -t ramfs -o size=30G ramfs ram-disk/

, das ganze Zeug dorthin kopiert und sichergestellt, dass überall der richtige Pfad eingestellt ist.

Überraschenderweise hatte das kaum einen relevanten positiven Effekt (<5%) im Vergleich zum Durchlauf von Disk.

Ich vermute stark, dass die Caching- und Optimierungsmechanismen von Linux an dieser Stelle so gut greifen, dass die Zugriffe auf die vergleichsweise langsamen Platten sehr selten sind und somit nicht mehr ins Gewicht fallen.

Zur Vollständigkeit noch die Performance der Platten (RAID5):

Code:

[root@j8 video]# hdparm -tT /dev/sda
/dev/sda:
 Timing cached reads:   6318 MB in  2.00 seconds = 3162.87 MB/sec
 Timing buffered disk reads: 736 MB in  3.01 seconds = 244.91 MB/sec

[root@j8 video]# hdparm -tT /dev/sda
/dev/sda:
 Timing cached reads:   6678 MB in  2.00 seconds = 3343.39 MB/sec
 Timing buffered disk reads: 736 MB in  3.00 seconds = 245.02 MB/sec

[root@j8 video]# hdparm -tT /dev/sda
/dev/sda:
 Timing cached reads:   6364 MB in  2.00 seconds = 3186.45 MB/sec
 Timing buffered disk reads: 730 MB in  3.00 seconds = 243.13 MB/sec

gehrke · 17 Apr. 2016

gehrke schrieb:
gehrke schrieb:

skaliert gut

Zum Vergrößern anklicken....

gehrke schrieb:

auf einen älteren, aber potenten Server geschoben. [...]

Wenn ich das ganze aber auf 22 Threads/Kerne verteile, dann lande ich bei 1,5h für das Rendering

Zum Vergrößern anklicken....

Interessant wäre in dem Zusammenhang dann noch, wie gut die Unterstützung von GPUs in diesem Anwendungsfall ist. Anstatt das ganze auf viele CPUs zu verteilen, sollte die Nutzung der Kerne auf der Grafikkarte in diesem Fall wahrscheinlich deutlich effizienter sein.
Hier fehlt es mir aber leider an der entsprechenden Hardware, um das zu testen...

gehrke · 23 Apr. 2016

gehrke schrieb:
ist kdenlive in der Version 0.9.10 eine Wohltat. Bin durchaus angetan davon [..] absturzfrei [..]

Das möchte ich weiterhin unterstreichen, aber explizit nur für diese Version.

Parallel habe ich unter Fedora23 (aus Hoffnung auf neue Features) diese Version installiert: 15.12.2
Diese ist bei dem selben 1-Stunden-Projekt leider so instabil, dass man damit nicht arbeiten kann!

kdenlive: Stabilität, Skalierbarkeit und Performance

gehrke

Administrator

gehrke

Administrator

gehrke

Administrator

gehrke

Administrator

gehrke

Administrator