Diese Website existiert nur weil wir Werbung mit AdSense ausliefern.
Bitte den AdBlocker daher auf dieser Website ausschalten! Danke.

SQL beim schreiben sehr sehr langsam

Alles rund um die Server (Web-, Mail-, Datenbank-, Datenaustausch-, etc.) die man unter Linux betreiben kann

Moderator: Moderatoren

spoensche
Moderator
Moderator
Beiträge: 7482
Registriert: 30. Okt 2004, 23:53
Wohnort: Siegen

Re: SQL beim schreiben sehr sehr langsam

Beitrag von spoensche » 1. Nov 2019, 16:53

Bei 12-14% I/O Wait (Zeit die auf die Daten von der Festplatte geladen werden), dauert es halt eben lange.

Werbung:
mattmarr
Member
Member
Beiträge: 75
Registriert: 14. Feb 2007, 19:02
Kontaktdaten:

Re: SQL beim schreiben sehr sehr langsam

Beitrag von mattmarr » 16. Nov 2019, 13:42

Hallo, ich mal wieder!

Problem besteht noch immer und ich finde einfach keinen Verursacher.

Trotzt auslagern des gesamten SQL auf eine eigene Interne Platte ist es doch noch immer langsamer als normal.
Auch fällt auf, das beim Schreiben von Daten auf die Festplatten geräusche entstehen als wenn der Kopf sehr sehr aktiv ist. Aber nur beim Schreiben! Lesen von Daten geht fix wie eh und je.
Aufgefallen ist mir das nicht nur bei SQL Befehlen sondern auch mittlerweile bei einer Virtualbox mit Windows10 (40GB feste größe) Installation. Die braucht ewig zum hochfahren bzw bis ich aktiv mit Windows arbeiten kann. Die Platte ist extrem beschäftigt und kommt erst nach 10-30 Minuten deutlich zur ruhe.

Ich habe mittlerweile auch den PC geöffnet und die SATA-Kabel geprüft. Sieht alles gut aus.
Mein verdacht ist, das vielleicht mit OpenSUSE LEAP 15.x irgendwas geändert wurde was noch in OpenSUSE 43.x und älter funktioniert hatte.
Ich habe seit LEAP 15.x keine Hardware Änderungen vorgenommen. Ausser seit letztem Jahr ein NAS am Router. Den Router habe ich per fstab eingebunden mittels SMB-Protokoll.

Langsam finde ich das alles sehr komisch und bin für weitere Tipps sehr angetan.


Grüße
Matthias

spoensche
Moderator
Moderator
Beiträge: 7482
Registriert: 30. Okt 2004, 23:53
Wohnort: Siegen

Re: SQL beim schreiben sehr sehr langsam

Beitrag von spoensche » 16. Nov 2019, 15:19

mattmarr hat geschrieben:
16. Nov 2019, 13:42
Trotzt auslagern des gesamten SQL auf eine eigene Interne Platte ist es doch noch immer langsamer als normal.
Auch fällt auf, das beim Schreiben von Daten auf die Festplatten geräusche entstehen als wenn der Kopf sehr sehr aktiv ist. Aber nur beim Schreiben! Lesen von Daten geht fix wie eh und je.
Die Geräusche entstehen durch die Schreib- Lese Köpfe, die beim Positionieren kleine Dellen auf die Plattenoberfläche erzeugen. Ein mechanischer Fehler. Die Lese- bzw. Schreibfehler führen zur langsamen I/O Operationen und bremsen.

Die Platte wird in kürze den Geist aufgeben.

mattmarr
Member
Member
Beiträge: 75
Registriert: 14. Feb 2007, 19:02
Kontaktdaten:

Re: SQL beim schreiben sehr sehr langsam

Beitrag von mattmarr » 16. Nov 2019, 16:24

Hallo!
Die Platte wird in kürze den Geist aufgeben
Aber gleich bei beiden Platten zeitgleich?!


Gruß
Matthias

spoensche
Moderator
Moderator
Beiträge: 7482
Registriert: 30. Okt 2004, 23:53
Wohnort: Siegen

Re: SQL beim schreiben sehr sehr langsam

Beitrag von spoensche » 17. Nov 2019, 10:49

Wie alt sind die Platten?

Das kann durchaus passieren. Z.b. bei einem Firmware Bug, wenn die Festplatten Modelle die gleiche Firmware haben.

Es kann sich dabei auch um zwei Unterschiedliche Fehler handeln, z.B. bei einer Platte die Oberfläche der Magnetscheibe und bei der anderen der bereits erwähnte.

spoensche
Moderator
Moderator
Beiträge: 7482
Registriert: 30. Okt 2004, 23:53
Wohnort: Siegen

Re: SQL beim schreiben sehr sehr langsam

Beitrag von spoensche » 17. Nov 2019, 10:49

Wie alt sind die Platten?

Das kann durchaus passieren. Z.b. bei einem Firmware Bug, wenn die Festplatten Modelle die gleiche Firmware haben.

Es kann sich dabei auch um zwei Unterschiedliche Fehler handeln, z.B. bei einer Platte die Oberfläche der Magnetscheibe und bei der anderen der bereits erwähnte.

mattmarr
Member
Member
Beiträge: 75
Registriert: 14. Feb 2007, 19:02
Kontaktdaten:

Re: SQL beim schreiben sehr sehr langsam

Beitrag von mattmarr » 17. Nov 2019, 11:40

spoensche hat geschrieben:
17. Nov 2019, 10:49
Wie alt sind die Platten?
Um die 4-5 Jahre sind es bestimmt.

Habe mir bereits einen Satz neue geordert und bin gespannt ob die Platten tatsächlich schon in die Jahre gekommen sind.


Gruß
Matthias

mattmarr
Member
Member
Beiträge: 75
Registriert: 14. Feb 2007, 19:02
Kontaktdaten:

Re: SQL beim schreiben sehr sehr langsam

Beitrag von mattmarr » 18. Nov 2019, 19:09

Hallo!

Nu hab ich zwei nagelneue Platten eingebaut und das System OpenSuSE Leap 15.1 komplett frisch aufgesetzt.
Die Schreibgeschwindigkeit ist noch immer unerträglich langsam beim Import oder ausführen von SQL-Befehlen. Auch VirtualBox braucht ewig.
Mein verdacht geht immer mehr in Richtung OpenSuSE 15.x. Davor hatte ich bisher nie Probleme gehabt.

Aufteilung der Platten sieht jetzt folgendermaßen aus:

sda:
SSD 120GB für OpenSuSE

sdb:
HD 1TB unterteilt in "home/" und "mysql/" und eingehängt.

Es ist zum Haare ausreißen. Zum Glück hab ich noch ein paar. :)
Ich geh erstmal einen Becher Milch zum runterkommen heben.


Gruß
Matthias

Benutzeravatar
manzek
Member
Member
Beiträge: 187
Registriert: 20. Mär 2005, 14:21
Wohnort: Oldenburger Land

Re: SQL beim schreiben sehr sehr langsam

Beitrag von manzek » 18. Nov 2019, 19:55

Hallo Matthias,

auf meinem betagten System mit i7-3770K und 16 GB RAM laufen inzwischen nur noch SDDs, die bei mir grundsätzlich mit Ext4 formatiert werden.
Leap 15.1 läuft richtig gut. HDDs gibt es in meinem System nur noch für SysBackup!

Hat dein Rechner vielleicht noch andere Hardware-Flaschenhälse?
So long, Stephan

---
Gigabyte Z77X-D3H * Intel i7-3770K LCS @ 4,2 GHz * 16 GB DDR3 @ 1866 MHz * nVIDIA GeForce RTX 2070 SUPER, 8192 MB * 23,6" - LED @ 1920x1080 * openSUSE Leap 15.1 * KDE 5.12.x

mattmarr
Member
Member
Beiträge: 75
Registriert: 14. Feb 2007, 19:02
Kontaktdaten:

Re: SQL beim schreiben sehr sehr langsam

Beitrag von mattmarr » 18. Nov 2019, 20:01

Hallo manzek!
manzek hat geschrieben:
18. Nov 2019, 19:55
Hat dein Rechner vielleicht noch andere Hardware-Flaschenhälse?
Keine andere Hardware angeschlossen als nur die beiden Platten.
Wie vorher schon erwähnt hab ich nur NAS per SMB eingebunden. Das NAS ist nur als Backup-System verschiedener Ordner.


Gruß
Matthias

spoensche
Moderator
Moderator
Beiträge: 7482
Registriert: 30. Okt 2004, 23:53
Wohnort: Siegen

Re: SQL beim schreiben sehr sehr langsam

Beitrag von spoensche » 22. Nov 2019, 15:14

Installiere mal sysstatt.

Nach 12- 24h poste mal die Ausgabe von

Code: Alles auswählen

iostat -kx
Wie sieht deine my.cnf aus?

Hast du mal alle Statements optimiert? Verwendest du Batch Inserts oder Single Inserts?

Code: Alles auswählen

show engine innodb status

Gräfin Klara
Hacker
Hacker
Beiträge: 419
Registriert: 23. Jun 2008, 20:51

Re: SQL beim schreiben sehr sehr langsam

Beitrag von Gräfin Klara » 22. Nov 2019, 15:28

mattmarr hat geschrieben:
18. Nov 2019, 19:09
..
Es ist zum Haare ausreißen..
my.cnf

Code: Alles auswählen

innodb_buffer_pool_size=1024M
query_cache_size=64M
Probier das aus

Gruß
Gräfin Klara

spoensche
Moderator
Moderator
Beiträge: 7482
Registriert: 30. Okt 2004, 23:53
Wohnort: Siegen

Re: SQL beim schreiben sehr sehr langsam

Beitrag von spoensche » 22. Nov 2019, 16:23

Gräfin Klara hat geschrieben:
22. Nov 2019, 15:28
mattmarr hat geschrieben:
18. Nov 2019, 19:09
..
Es ist zum Haare ausreißen..
my.cnf

Code: Alles auswählen

innodb_buffer_pool_size=1024M
query_cache_size=64M
Für die Anzahl der Datenbanken ist der Bufferpool zu klein. An der Query Cache Size sollte man nichts ändern. (Siehe dazu auch die Doku von MariaDB)

Antworten