Diese Website existiert nur weil wir Werbung mit AdSense ausliefern.
Bitte den AdBlocker daher auf dieser Website ausschalten! Danke.

[gelöst] Kopieren über SCP dauert lange!

Alles rund um die Systemverwaltung, die Administration und Konfiguration Eures Linuxsystems

Moderator: Moderatoren

Antworten
thapate
Newbie
Newbie
Beiträge: 30
Registriert: 8. Feb 2007, 13:00

[gelöst] Kopieren über SCP dauert lange!

Beitrag von thapate » 25. Feb 2008, 16:37

Hallo zusammen!

habe folgendes Problem:

Ich habe hier 2 Linux-Rechner stehen.
Einer davon ist ein SAMBA-Datei-Server.
Der andere Rechner dient dazu die Datenplatte des SAMBA-Servers zu sichern.

Auf der Datenpartition befinden sich ca. 130GB an Daten.
Die Daten werden per SCP vom SAMBA auf den Backuprechner kopiert.
Das erste Backup das ich angeschmissen habe, dauerte ca. 30stunden!!!!

Nun habe ich mal einzelne Dateien kopiert um zu kontrollieren mit welcher Bandbreite die Daten kopiert werden.
Im Schnitt werden die Daten mit 2,1MB/s kopiert!

Die Rechner sind über einen 100mbit Switch verbunden!
In beiden Rechner ist eine 100mbit Netzwerkkarte eingebaut!

Hat man eine Möglichkeit die Daten schneller zu kopieren?
Und die 2,1 MB/s sind ja auch nicht gerade super schnell!

Bin über jede Hilfe sehr dankbar!!!!

MfG
ThaPate

Werbung:
tomte
Hacker
Hacker
Beiträge: 798
Registriert: 15. Nov 2003, 13:40
Wohnort: 16°08'12"E / 56°34'08"N

Beitrag von tomte » 25. Feb 2008, 19:02

Beschäftige dich mal mit rsync http://wiki.linux-club.de/opensuse/Rsync

Bist du sicher,dass beide Netzwerkkarten mit den richtigen Treibern versehen sind? Wie schnell sind die Festplatten (hdparm), wie voll ist der RAM (free)? Und was für ein Dateisystem benutzt du? Haben die Rechner in der zeit noch andere Netzwerklast?
Nothing is easier than being busy - and nothing more difficult than being effective.

rolle
Guru
Guru
Beiträge: 3724
Registriert: 4. Mai 2004, 21:50
Kontaktdaten:

Beitrag von rolle » 25. Feb 2008, 19:13

SCP produziert eine ziemliche Systemlast durch die Verschlüsselung. Für Backups wäre rsync wirklich besser.
Horrido, Roland

Für meine Postings gilt außer bei Zitaten hier im Linux-Club die Creative Commons.

Benutzeravatar
framp
Moderator
Moderator
Beiträge: 4270
Registriert: 6. Jun 2004, 20:57
Wohnort: bei Stuttgart
Kontaktdaten:

Beitrag von framp » 25. Feb 2008, 19:52

rolle hat geschrieben:SCP produziert eine ziemliche Systemlast durch die Verschlüsselung. Für Backups wäre rsync wirklich besser.
ACK

thapate
Newbie
Newbie
Beiträge: 30
Registriert: 8. Feb 2007, 13:00

Beitrag von thapate » 26. Feb 2008, 14:53

Danke für eure Antworten!


Während des Kopiervorgangs löst SCP eine ziemlich hohe Systemlast aus!

Arbeitet SCP im Hintergrund bei RSYNC?

Werde es heute Abend mal mit rsync probieren!
Melde euch dann, ob sich was an der Geschwindigkeit geändert hat!

Kurz zur Hardware:
Der Rechner der das Backup fährt, ist ne ziemlich alte Kiste.
CPU 300Mhz
Ram 128MB oder 256MB
Könnte ja dann eventuell auch an der Hardware liegen?!?

MfG
ThaPate

thapate
Newbie
Newbie
Beiträge: 30
Registriert: 8. Feb 2007, 13:00

Beitrag von thapate » 26. Feb 2008, 15:02

ist dieser Befehl richtig?

rsync -a %benutzername%@%serverip%:/%quellverzeichnis%/* /%zielverzeichnis%/

rolle
Guru
Guru
Beiträge: 3724
Registriert: 4. Mai 2004, 21:50
Kontaktdaten:

Beitrag von rolle » 26. Feb 2008, 15:45

Hm, es sollte wohl noch die Option '-r' dazu, damit auch rekursiv kopiert wird. Solltest Du mit ACLs arbeiten, wäre auch noch '-A' sinnig. Sonst könnte das so klappen, ich habe es allerdings noch nie mit Servernamen gemacht. Ich mounte vorher immer das entfernte Verzeichnis, das ist aber wohl Geschmackssache, wenn ich die Manpage richtig verstehe.
Horrido, Roland

Für meine Postings gilt außer bei Zitaten hier im Linux-Club die Creative Commons.

thapate
Newbie
Newbie
Beiträge: 30
Registriert: 8. Feb 2007, 13:00

Beitrag von thapate » 26. Feb 2008, 16:10

Habe es mal mit meinen Script ausprobiert!
Klappt soweit bis jetzt.
Habe in knapp 20min 1,8GB dan Daten gesichert (also ist nicht viel schneller als mit SCP)

Gibt es noch eine andere Möglichkeit die Daten zu sichern bzw. schneller zu sichern.

Zu beachten:
- Es müssen vollständige Backups sein (Datenbestand ca. 100GB)
- Auf eine Backupplatte (250GB) kommen zwei vollständige Datenbestände drauf. Danach wird die Platte mit den Daten archiviert und durch eine neue ersetzt

-a umfasst folgende Optionen
* -r kopiert Unterverzeichnisse, lässt rsync rekursiv arbeiten
* -l kopiert symbolische Links
* -p behält Rechte bei
* -t behält Zeiten bei,
* -g behält Gruppenrechte bei
* -D behält Gerätedateien bei; nur root

rolle
Guru
Guru
Beiträge: 3724
Registriert: 4. Mai 2004, 21:50
Kontaktdaten:

Beitrag von rolle » 26. Feb 2008, 17:28

Ups, wer lesen kann ist klar im Vorteil. :oops: Eventuell wäre es aber schneller, wenn Du die Platte mounten würdest und dann einen lokalen rsync durchführst. Also in etwa so:

Code: Alles auswählen

#!/bin/bash

mount -t nfs //SERVER/PFAD /MOUNTPOINT
rsync -a /ZIELPFAD /MOUNTPOINT
umount /MOUNTPOINT
Dazu muß natürlich die Backupplatte per NFS freigegeben sein.
Horrido, Roland

Für meine Postings gilt außer bei Zitaten hier im Linux-Club die Creative Commons.

thapate
Newbie
Newbie
Beiträge: 30
Registriert: 8. Feb 2007, 13:00

Beitrag von thapate » 26. Feb 2008, 17:34

Das mit der nfs- mouten hat ich mir auch schon überlegt gehabt!
Ich müsste halt auf dem Zielserver eine nfs-Freigabe erstellen, was natürlich wieder ein gewisses (eingeschränktes) Sicherheitsrisiko darstellen würde.

Kann es auch an der alten Kiste liegen, das es so lange mit dem kopieren dauert?

rolle
Guru
Guru
Beiträge: 3724
Registriert: 4. Mai 2004, 21:50
Kontaktdaten:

Beitrag von rolle » 26. Feb 2008, 18:08

Kann es auch, befrage doch einfach mal top oder htop nach der Systemlast dabei. Sicherheitsmäßig dürfte das ja eigentlich keine Problem sein, ich gehe davon aus, daß Dein Rechnerpark per Firewall im Ganzen vor dem Internet geschützt ist.
Horrido, Roland

Für meine Postings gilt außer bei Zitaten hier im Linux-Club die Creative Commons.

thapate
Newbie
Newbie
Beiträge: 30
Registriert: 8. Feb 2007, 13:00

Beitrag von thapate » 19. Mär 2008, 10:15

Hi, da bin ich nochmal.

Wollte euch noch kurz berichten wie es momentan aussieht:

-Ich habe ein neues System auf einem neuen Rechner aufgesetzt
(ähnliche Hardwareausstattung/ Leistung)

Die Backups liefen nicht schneller. Also kein Peformance zuwachs gehabt.

Nun hab ich einen Leistungsstärkeren Rechner neu aufgesetzt.
Siehe da. Das ganze wurde erheblich schneller (doppelter so schneller Datendurchsatz)!

Danke für eure Hilfe!

MfG
ThaPate


Antworten