Autoloader beschreibt die einzelnen Bänder nicht bis zum End

[Anonymous]

Da musst du doch einfach auf deinem Filer einbrechen, und diesem Bescheid geben, dass er 20 Uhr anfangen soll die kleinen Dateien zu ordentlichen TAR-Archiven zusammenzupacken, dann kommst du 22 Uhr mit deiner Sicherung und sicherst die TAR-Dateien und um 6 Uhr kann dann der Filer die TAR-Archive wieder löschen.

Oder du bekommst deine Filer dazu dass er die Dateien selbst in das TAR-packt und über einen TCP/IP Port an deinen Backupserver sendet, dort fängst du das mit netcat ab und schreibst es in den Buffer.

Dümmer lesen? wird wohl so nicht gehen. Besser vielleicht, intelligenter schreiben

robi

 

[aerosol]

Da musst du doch einfach auf deinem Filer einbrechen, und diesem Bescheid geben, dass er 20 Uhr anfangen soll die kleinen Dateien zu ordentlichen TAR-Archiven zusammenzupacken, dann kommst du 22 Uhr mit deiner Sicherung und sicherst die TAR-Dateien und um 6 Uhr kann dann der Filer die TAR-Archive wieder löschen.

Ich hab emal zum versuch ein 12GB Verzeichnis genommen, welches die Eigenschaften der vielen kleinen Ordner hatte und die Backupdauer mit dem von usn asugearbeiteten tar dauerte ca 30 Min.

Dann wollte ich mal den Folder, den ich ja per NFS gemountet habe, erst taren und dann kopieren und sichern. Allerdings hat der tar Befehl alleine schon ca 45 Min gebraucht *THUMBS UP* also habe ich mir das mit dem sicher dann gespart

Oder du bekommst deine Filer dazu dass er die Dateien selbst in das TAR-packt und über einen TCP/IP Port an deinen Backupserver sendet, dort fängst du das mit netcat ab und schreibst es in den Buffer.

du meinst einbrechen in dem Sinne, das er das selbst taren soll? Scheint mir nicht praktikabel, da die kiste nur eine kleine Auswahl an Befehlen zulässt:

?                   help                nfsstat             snapvault
aggr                hostname            nis                 snmp
arp                 httpstat            options             software
backup              ifconfig            orouted             source
cf                  ifstat              partner             stats
cifs                igroup              passwd              storage
config              ipsec               ping                sysconfig
date                ipspace             priv                sysstat
df                  iscsi               qtree               timezone
disk                iswt                quota               traceroute
disk_fw_update      license             rdate               ups
dns                 lock                reallocate          uptime
download            logger              reboot              useradmin
dump                logout              restore             version
echo                lun                 rlm                 vfiler
ems                 man                 rmc                 vif
environment         maxfiles            route               vlan
exportfs            mt                  routed              vol
fcp                 nbtstat             savecore            vscan
fcstat              ndmpcopy            secureadmin         wcc
file                ndmpd               setup               ypcat
filestats           netdiag             shelfchk            ypgroup
fpolicy             netstat             snap                ypmatch
ftp                 nfs                 snapmirror          ypwhich

 

[Anonymous]

du meinst einbrechen in dem Sinne, das er das selbst taren soll? Scheint mir nicht praktikabel, da die kiste nur eine kleine Auswahl an Befehlen zulässt

Das wird wohl nichts. Na immerhin ist mt dump und restore dabei
Das ist aber bestimmt für das eigene Betriebssystem gedacht und nicht für die Daten. Davon würde ich persönlich auch die Finger lassen.

Na nu rück doch schon mal mit der Spache raus: was sind denn das für so kleine, feine, schnuckelige Dateichen in ganz-ganz vielen Verzeichnissen, die dich so ärgern?
Braucht man die alle jederzeit griffbereit, oder könntest man die zT. nicht auch gepackt ablegen?

Auf nem normalem Rechner würde ich da Filecontainer bauen:
also große Files, Dateisystem drauf, und an der entsprechenden Stelle mounten. Beim Backup brauch ich dann den ganzen Kleinmist nicht einzeln mitzusichern, einfach ein umount auf den Containermountpoint, damit Ruhe im Container herrscht, und dann den ganzen Container als normale File mit sichern.
Aber auf einem Filer? wirds wohl nicht gehen, denke ich mir. Kann das auch nicht ausprobieren, mein Hardwaremuseum umfasst kein "Online-Storage".

robi

 

[aerosol]

Das wird wohl nichts. Na immerhin ist mt dump und restore dabei
Das ist aber bestimmt für das eigene Betriebssystem gedacht und nicht für die Daten. Davon würde ich persönlich auch die Finger lassen.

jop das denk ich mir auch

Na nu rück doch schon mal mit der Spache raus: was sind denn das für so kleine, feine, schnuckelige Dateichen in ganz-ganz vielen Verzeichnissen, die dich so ärgern?
Braucht man die alle jederzeit griffbereit, oder könntest man die zT. nicht auch gepackt ablegen?

robi

Sind viele Word, Excel usw. Dokumente, die ständige Verfügbarkeit benötigen und somit ein dauerhaftes packen auch nicht möglich ist!

aber ich kann doch nicht der einzigste sein, der mit dem Problem zu kämpfen hat?
Diese LTO Bandlaufwerke mit so viel Power sind doch nicht nur für wenige gr0ße Dateien gedacht ?!

kann man evtl mit mehreren threads in den buffer schreiben? evtl wäre das noch eine möglichkeit !?

 

[Anonymous]

aber ich kann doch nicht der einzigste sein, der mit dem Problem zu kämpfen hat?
Diese LTO Bandlaufwerke mit so viel Power sind doch nicht nur für wenige gr0ße Dateien gedacht ?!

Keine Angst, mit solchen Problemen kämpfen noch ganz andere. Übrigens haben wir hier mittlerweile schon ganz kompetente Mitleser bekommen :roll: Die werden doch nicht etwa dafür bezahlt, dass wir hier im LC ihre Probleme lösen. :evil:

Übrigens wärst du erstaunt wenn du sehen könntest wie schnell gerade diese kleinen Dateien in das Laufwerk gesaugt werden.
Ich habe mir jetzt die aktuelle Version installiert, http://www.maier-komor.de/mbuffer.html
Die hat jetzt nicht nur eine high water mark sonder auch eine low water mark, die man benötigt, wenn man von solchen Laufwerken ordentlich lesen will. Ich bekomme allerdings noch einige Warnungen, muss ich mir anschauen, eventuell muss den einen oder andere Kernelparameter noch angepasst werden, auch die Netz und Multi-Volume-Funktion will ich mir noch etwas näher anschauen.

Ich sichere jetzt mittlerweise meinen gesamten lokalen Server ( ca 7,2GB) in 4 Minuten und das Recovern klappt in 6-7 Minuten.
Und ich nehme jetzt nur ein LTO1 dazu, dein Laufwerk ist theoretisch noch 4 Mal schneller.

robi

 

[aerosol]

Ich sichere jetzt mittlerweise meinen gesamten lokalen Server ( ca 7,2GB) in 4 Minuten und das Recovern klappt in 6-7 Minuten.
Und ich nehme jetzt nur ein LTO1 dazu, dein Laufwerk ist theoretisch noch 4 Mal schneller.

robi

theoretisch und du sicherst lokal

die neue version des mbuffers ahbe ich mir auch installiert und bekomem auch diese meldungen:

warning: unable to determine maximum value of semaphores
warning: Could not stat output device (unsupported by system)!
This can result in incorrect written data when
using multiple volumes. Continue at your own risk!

Die hat jetzt nicht nur eine high water mark sonder auch eine low water mark, die man benötigt, wenn man von solchen Laufwerken ordentlich lesen will.

bitte was ?!

lass von dir hören, wenn du dich genauer mit der neuen version beschäftigt hast.

p.s.: Ebenfalsl besitz unser Filer hier ienen iSCSI Lizens und ich hab egelesen das es auch einen Möglichkeit wäre hierüber zu sicher, allerdings sagt mir das ganze gar nichts und ich lese mich gerade da mal ein...

 

[Anonymous]

High water mark
-P 75 startet den Schreibvorgang wenn der buffer 75% voll ist, war er leer, dann mussen erst wieder 75% rein bevor das schreiben weitergeht, das ist die Option für das schreiben aufs Laufwerk

Low water mark
-p 20 startet den Lesevorgang wenn der buffer 20% erreicht hat, ist der Buffer vollgelaufen, dann wird das Lesen solange unterbrochen, bis wieder nur noch 20% im Buffer sind. Das ist die vom Laufwerk lesen Option.

Achtung: zur deiner alten Version ist aus klein -p jetzt GROß -P geworden.
Beide Optionen gleichzeitig geht nicht.

robi

 

[aerosol]

ok das meintest du damit habe ich auch gesehen, aber auch nicht wirklich interessant für mein Problem

 

[aerosol]

ich hab nun nochmal versucht den Filer per iSCSI anzusteueren, um somit eine höhere Transferrate zu erziehlen, allerdings kam genau das gleiche dabei heraus

Muss man sich evtl einfach damit anbfinden, das viele kleine Dateien einfach nicht schneller zu kopieren sind?