Seite 1 von 1

Hash-Werte-Berechnung parallel

Verfasst: 9. Mai 2021, 14:54
von tiny
Hallo,

ich habe seit einigen Jahren ein simples Script im Einsatz, dass mir einfach für bestimmte Dateien die SHA1-Hashwerte ausgibt. Damit vergleiche ich einfach meine Mediensammlung auf dem Media-Center-PC mit denen der Backups. SHA1 geht einfach schneller als die anderen wie MD5. Hier geht es also darum zu prüfen ob die Dateien noch i.O. (also abspielbar) sind. Das geht zwar aus dem Hash nicht hervor, wenn beide aber unterschiedlich sind, stimmt etwas nicht. Man kann Videodateien auf mit ffmpeg prüfen, dauert aber deutlich länger.

Sowohl CPU- als auch RAM sind im einstelligen Bereich ausgelastet. Ob die Platten (bei mir sind es die Backups auf externen Festplatten) ein limitierender Faktor sind, kann ich nicht sagen.

Ist es möglich/macht es Sinn die Berechnung parallel laufen zu lassen? SHA1SUM scheint keine Möglichkeit zu haben Dateien parallel zu berechnen. Bringt es etwas z. B. für jeder der 4 Festplatten sha1sum separat anzustoßen?

tiny

P.S. Eine einfache Dateiprüfung über Zugriffs-/Erstellzeitstempel und (genauer) Dateigröße ist keine zuverlässige Prüfung - musste ich schon erfahren.

Re: Hash-Werte-Berechnung parallel

Verfasst: 9. Mai 2021, 18:01
von josef-wien
tiny hat geschrieben:Bringt es etwas z. B. für jeder der 4 Festplatten sha1sum separat anzustoßen?
Es ist die einzige Möglichkeit. Die Engstelle ist die Geschwindigkeit der Festplatte, die mit dem Lesen voll ausgelastet ist. Die CPU langweilt sich bei dieser Aufgabe furchtbar.

P. S. Falls die Platten über USB 2 angeschlossen sind, wäre das die Engstelle.