Diese Website existiert nur weil wir Werbung mit AdSense ausliefern.
Bitte den AdBlocker daher auf dieser Website ausschalten! Danke.

Hash-Werte-Berechnung parallel

Alles rund um die verschiedenen Konsolen und shells sowie die Programmierung unter Linux

Moderator: Moderatoren

Antworten
tiny
Newbie
Newbie
Beiträge: 21
Registriert: 3. Sep 2020, 10:43

Hash-Werte-Berechnung parallel

Beitrag von tiny »

Hallo,

ich habe seit einigen Jahren ein simples Script im Einsatz, dass mir einfach für bestimmte Dateien die SHA1-Hashwerte ausgibt. Damit vergleiche ich einfach meine Mediensammlung auf dem Media-Center-PC mit denen der Backups. SHA1 geht einfach schneller als die anderen wie MD5. Hier geht es also darum zu prüfen ob die Dateien noch i.O. (also abspielbar) sind. Das geht zwar aus dem Hash nicht hervor, wenn beide aber unterschiedlich sind, stimmt etwas nicht. Man kann Videodateien auf mit ffmpeg prüfen, dauert aber deutlich länger.

Sowohl CPU- als auch RAM sind im einstelligen Bereich ausgelastet. Ob die Platten (bei mir sind es die Backups auf externen Festplatten) ein limitierender Faktor sind, kann ich nicht sagen.

Ist es möglich/macht es Sinn die Berechnung parallel laufen zu lassen? SHA1SUM scheint keine Möglichkeit zu haben Dateien parallel zu berechnen. Bringt es etwas z. B. für jeder der 4 Festplatten sha1sum separat anzustoßen?

tiny

P.S. Eine einfache Dateiprüfung über Zugriffs-/Erstellzeitstempel und (genauer) Dateigröße ist keine zuverlässige Prüfung - musste ich schon erfahren.
josef-wien
Ultimate Guru
Ultimate Guru
Beiträge: 5658
Registriert: 23. Sep 2008, 17:09

Re: Hash-Werte-Berechnung parallel

Beitrag von josef-wien »

tiny hat geschrieben:Bringt es etwas z. B. für jeder der 4 Festplatten sha1sum separat anzustoßen?
Es ist die einzige Möglichkeit. Die Engstelle ist die Geschwindigkeit der Festplatte, die mit dem Lesen voll ausgelastet ist. Die CPU langweilt sich bei dieser Aufgabe furchtbar.

P. S. Falls die Platten über USB 2 angeschlossen sind, wäre das die Engstelle.
Antworten