Diagramme MySQL Zeit- und Antwortverhalten

[toggle]

Aha, jetzt sind 500ms OK. Vorher waren es bloß "ein paar".

Ich verstehe nur nicht, wie andere Nutzer zu scheinbar deutlich besseren/verzögerungsfreien Ergebnissen mit vergleichbarer Hardware kommen.

[gaert]

Bei Dir(!) sind es 500ms, bei mir(!) sind's ein paar.

hast du vielleicht noch irgendwelchen anderen Prozesse laufen, die MySQL irgendwie beeinflussen? LBS o.d.g.?

[MarkusS]

Aha, jetzt sind 500ms OK. Vorher waren es bloß "ein paar".

Ich verstehe nur nicht, wie andere Nutzer zu scheinbar deutlich besseren/verzögerungsfreien Ergebnissen mit vergleichbarer Hardware kommen.

Mein Edomi ist LBS-freie Zone - außer den LBS um die Archive zu befüllen. Sicher nicht repräsentativ und wird sich sicher bald ändern. Dafür ist es gefühlt aber sehr flott.

[gaert]

Ich habe aktuell rund 2000 LBS in diversen Logiken - allerdings nur die "Werks-LBS", die ich selbst erstellt habe. Muss nichts bedeuten, aber es kann Einige User-LBS sparen nicht gerade Ressourcen, wobei dies keine Abwertung darstellen soll, sondern nur eine Feststellung! Manche Features lassen sich nunmal nicht sparsamer implementieren.

[toggle]

Ich habe ein paar Logikseiten mit LBS, die meine 30 Datenarchive (Sensoren & WP-Daten) befüllen. Testweise habe ich alle Logikseiten deaktiviert und es ist vielleicht minimal besser/schneller geworden.

gaert: Hattest du nicht mal geschrieben, dass deine Hardware etwas betagt ist. Dann dürfte mySQL bei dir auch nicht schneller sein. Oder waren es Messungen auf einem i5/i7?

Ich habe jetzt wieder drei Kurven im Diagramm, was zu folgender CPU-Last über 3-4 Sekunden führt:

top - 09:04:22 up  8:24,  1 user,  load average: 0.15, 0.17, 0.17
Tasks: 114 total,   1 running, 113 sleeping,   0 stopped,   0 zombie
Cpu0  : 16.7%us,  9.7%sy,  0.0%ni, 73.6%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  : 14.3%us,  9.3%sy,  0.0%ni, 76.4%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  : 14.3%us,  7.3%sy,  0.0%ni, 78.4%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  1.7%us,  2.3%sy,  0.0%ni, 96.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   3905808k total,   397804k used,  3508004k free,    53188k buffers
Swap:  4046840k total,        0k used,  4046840k free,   107764k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1409 mysql     20   0 1103m 109m 6092 S [COLOR=#FF0000]52.0[/COLOR]  2.9  18:18.61 mysqld
24752 root      20   0  253m  13m 6468 S  6.6  0.3   1:15.16 php
27822 apache    20   0  185m 8956 2892 S  5.3  0.2   0:04.04 httpd
27880 apache    20   0  185m 8976 2888 S  1.3  0.2   0:03.06 httpd
24715 root      20   0  250m  10m 6268 S  1.0  0.3   0:07.78 php
24754 root      20   0  251m  11m 6428 S  1.0  0.3   0:15.77 php

Interessant fand ich die Lasterhöhung, wenn die edomi-Monitorseite parallel zur Visu dargestellt wurde:

top - 08:58:49 up  8:19,  1 user,  load average: 0.13, 0.17, 0.17
Tasks: 114 total,   1 running, 112 sleeping,   0 stopped,   1 zombie
Cpu0  : 18.7%us,  2.7%sy,  0.0%ni, 78.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  : 51.0%us, 32.1%sy,  0.0%ni, 16.6%id,  0.0%wa,  0.3%hi,  0.0%si,  0.0%st
Cpu2  :  6.6%us,  2.6%sy,  0.0%ni, 90.4%id,  0.0%wa,  0.3%hi,  0.0%si,  0.0%st
Cpu3  :  4.0%us,  1.7%sy,  0.0%ni, 94.4%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   3905808k total,   401132k used,  3504676k free,    52756k buffers
Swap:  4046840k total,        0k used,  4046840k free,   107700k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1409 mysql     20   0 1103m 109m 6092 S [COLOR=#FF0000]85.0[/COLOR]  2.9  17:20.76 mysqld
26999 apache    20   0  185m  10m 2940 S 12.2  0.3   0:01.15 httpd
24752 root      20   0  253m  13m 6468 S  6.0  0.3   0:53.57 php
24577 apache    20   0  186m  10m 2968 S  5.0  0.3   0:19.28 httpd
27059 apache    20   0     0    0    0 Z  2.3  0.0   0:00.07 httpd <defunct>
24754 root      20   0  251m  11m 6428 S  1.3  0.3   0:11.32 php

Die Grundlast war aber in beiden Fällen identisch - ca. 5-6%.

Ich hatte mal den 4.5er-Kernel (kernel-ml) nachinstalliert. Es gab leider keine positiven Änderungen im Lastverhalten.

MarkusS : Es wäre vielleicht sinnvoll, dieses Thema in einen separaten Thread zu übertragen, falls es nicht zu aufwendig ist.

[SeatSLF]

Du siehst aber das sich 3 von 4 cores völlig langweilen?

Hast du den Monitor vom KNX erhöht?
Da hatte ich mal ein völlig träges verhalten in der Admin Gui

[toggle]

Die Admin-GUI ist nicht träge. Ich habe an der edomi-Standardkonfiguration nichts geändert (außer IP-Adressen). Von mir aus darf die CPU-Last auch höher sein. Mir geht es eher um die Verzögerung beim Zeichnen von Mehrkurven-Diagrammen aus Archiven mit 5000 und (detlich) mehr Werten. Ich sehe nun mal die Raumtemperaturen gerne im Vergleich.

[SeatSLF]

Wie gesagt das kann, ich bei mir so erheblich nicht feststellen.
Ich lasse z.b. meine komplette Heizunganlage immer mitloggen.
Das wären dann in einem Diagramm Vorlauf, Rücklauf, Kesseltemp., Brenner An/Aus, Pumpe An/Aus und Pumpendrehzahl.
Alle Werte werden momentan mind. jede 1 geschrieben.
Die Temp. natürlich öfter wenn gerade Wärme erzeugt wird und das seit etlichen Wochen.

20Tage dauern ca 5sek bei Seitenaufruf am Ipad, das reine Aktualisieren sieht man nicht.

[toggle]

Das Aktualisieren erkennt man am pulsierenden grünen Balken am oberen Rand des Diagramms.

[gaert]

Der KO-Monitor auf der Statusseite hat mit mySQL nix am Hut (wird über shared-memory mit Daten versorgt).

Auffällig ist bei Dir, dass mindestens CPU3+4 nichts zu tun haben - d.h. "Power" ist ja potentiell noch ausreichend vorhanden. Du kannst ja mal versuchen die mySQL-Einstellungen anzupassen (RAM-Nutzung, etc.).

Ich habe nur einen 2xAtom mit 4 Cores und top zeigt im Prinzip permanent etwas in dieser Art an (obgleich ich viele Logiken habe, 12 Kameras und zig Diagramme - alles eher zu Testzwecken):

[COLOR=#696969][FONT=Menlo][SIZE=11px]top - 15:07:34 up 10 days,  7:21,  1 user,  load average: 0.10, 0.03, 0.01[/SIZE][/FONT]
 [FONT=Menlo][SIZE=11px]Tasks: 1[/SIZE][/FONT][/COLOR][COLOR=#696969][FONT=Menlo][SIZE=11px]15 total,   1 running, 114 sleeping,   0 stopped,   0 zombie[/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]Cpu0  :  2.0%us,  1.0%sy,  0.0%ni, 97.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st[/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]Cpu1  :  2.0%us,  2.3%sy,  0.0%ni, 95.3%id,  0.3%wa,  0.0%hi,  0.0%si,  0.0%st[/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]Cpu2  :  1.3%us,  1.3%sy,  0.0%ni, 97.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st[/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]Cpu3  :  1.3%us,  1.3%sy,  0.0%ni, 97.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st[/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]Mem:   1904644k total,   688780k used,  1215864k free,   138180k buffers[/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]Swap:  4095992k total,        0k used,  4095992k free,   335672k cached[/SIZE][/FONT]
  
  [FONT=Menlo][SIZE=11px]  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND           [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]10799 root      20   0  250m  12m 6308 S  3.7  0.7  14:42.98 php                [/SIZE][/FONT]
  [/COLOR][COLOR=#FF0000][FONT=Menlo][SIZE=11px] 1463 mysql     20   0 1105m  98m 6276 S [B] 1.3  5.3 [/B]198:58.94 mysqld    [/SIZE][/FONT][/COLOR][COLOR=#696969][FONT=Menlo][SIZE=11px]         [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]10801 root      20   0  249m  11m 6396 S  1.0  0.6   3:05.56 php                [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]15809 apache    20   0  180m 8108 3264 S  1.0  0.4   0:01.08 httpd              [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]24078 root      20   0 15028 1304  992 R  0.7  0.1   0:00.15 top                [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]   19 root      20   0     0    0    0 S  0.3  0.0   2:19.50 events/0           [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]10791 root      20   0  248m 9.8m 6120 S  0.3  0.5   1:26.72 php                [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]10793 root      20   0  248m  10m 6292 S  0.3  0.6   1:59.96 php                [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]15831 apache    20   0  180m 8116 3272 S  0.3  0.4   0:00.78 httpd              [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]    1 root      20   0 19232 1472 1208 S  0.0  0.1   0:01.33 init               [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]    2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd           [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]    3 root      RT   0     0    0    0 S  0.0  0.0   0:14.94 migration/0        [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]    4 root      20   0     0    0    0 S  0.0  0.0   0:03.14 ksoftirqd/0        [/SIZE][/FONT]
  [FONT=Menlo][SIZE=11px]    5 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0[/SIZE][/FONT][/COLOR]

[toggle]

Das mag ja sein, dass es vom Design her keine Kopplung zwischen mySQL und der Statusseite (wie in #15, nicht KO-Monitor) gibt. Aber ich beobachte nun mal eine Lasterhöhung bei mySQL von 25-30%, sobald diese Statusseite angezeigt wird. Wenn keine Visu angezeigt wird, sieht es bei mir auch "ruhig" aus:

top - 15:13:20 up  5:04,  1 user,  load average: 0.01, 0.04, 0.00
Tasks: 117 total,   1 running, 116 sleeping,   0 stopped,   0 zombie
Cpu0  :  4.0%us,  5.0%sy,  0.0%ni, 91.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  :  5.0%us,  2.0%sy,  0.0%ni, 93.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  1.0%us,  0.0%sy,  0.0%ni, 99.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   3905808k total,   407768k used,  3498040k free,    37928k buffers
Swap:  4046840k total,        0k used,  4046840k free,   106044k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 3255 root      20   0  253m  13m 6468 S  5.9  0.3  19:53.66 php
 2262 root      20   0 15028 1324 1000 R  2.0  0.0   0:07.74 top
 3216 root      20   0  251m  10m 6440 S  2.0  0.3   2:25.67 php
 3257 root      20   0  251m  11m 6536 S  2.0  0.3   5:06.63 php
 1434 mysql     20   0 1103m 115m 6084 S  1.0  3.0  11:42.76 mysqld
    1 root      20   0 19232 1476 1212 S  0.0  0.0   0:02.25 init

Was die Einstellungen von mySQL angeht, so haben die Performance-Tuning-Tools nicht viel zu meckern (siehe oben). Ich habe die Vorschläge umgesetzt, leider ohne spürbare Verbesserung.

[gaert]

Keine Ahnung was bei Dir anders läuft... Hier mal ein Beispiel:
- 5 Visu's parallel laufend
- auf einer Visu werden sekündlich 12 MJPEG-Stream von EDOMI geparsed und die Einzelbilder dargestellt
- auf den anderen Visus werden jeweils 3 Diagramme mit ca. 3500 Einträgen pro Datenquelle sekündlich aktualisiert
- auf der Statusseite läuft der KO-Monitor

 [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]top - 18:49:42 up 10 days, 11:03,  1 user,  load average: 0.05, 0.02, 0.00[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]Tasks: 116 total,   1 running, 114 sleeping,   0 stopped,   1 zombie[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]Cpu0  :  2.0%us,  2.0%sy,  0.0%ni, 95.6%id,  0.3%wa,  0.0%hi,  0.0%si,  0.0%st[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]Cpu1  :  3.7%us,  2.7%sy,  0.0%ni, 93.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]Cpu2  :  3.7%us,  1.7%sy,  0.0%ni, 94.3%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]Cpu3  :  4.0%us,  1.7%sy,  0.0%ni, 94.4%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]Mem:   1904644k total,   691136k used,  1213508k free,   138180k buffers[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]Swap:  4095992k total,        0k used,  4095992k free,   338504k cached[/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px] [/SIZE][/FONT][/COLOR]
  [FONT=Menlo][SIZE=11px][COLOR=#696969]  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND           [/COLOR][/SIZE][/FONT]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]10799 root      20   0  250m  12m 6308 S  4.3  0.7  22:55.65 php                [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]17333 apache    20   0  180m 7440 2732 S  3.0  0.4   0:00.14 httpd              [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969] 1463 mysql     20   0 1105m  97m 6276 S  2.7  5.2 201:57.35 mysqld             [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]15809 apache    20   0     0    0    0 Z  2.3  0.0   0:03.04 httpd <defunct>    [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]17350 apache    20   0  180m 7708 2648 S  1.3  0.4   0:00.04 httpd              [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]10801 root      20   0  249m  11m 6396 S  0.7  0.6   4:48.49 php                [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]   22 root      20   0     0    0    0 S  0.3  0.0   1:42.47 events/3           [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]10793 root      20   0  248m  10m 6292 S  0.3  0.6   3:08.20 php                [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]17121 root      20   0 15028 1304  992 R  0.3  0.1   0:00.23 top                [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]    1 root      20   0 19232 1472 1208 S  0.0  0.1   0:01.33 init               [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]    2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd           [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]    3 root      RT   0     0    0    0 S  0.0  0.0   0:15.17 migration/0        [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]    4 root      20   0     0    0    0 S  0.0  0.0   0:03.19 ksoftirqd/0        [/COLOR][/SIZE][/FONT][/COLOR]
  [COLOR=#F5F5F5][FONT=Menlo][SIZE=11px][COLOR=#696969]    5 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0[/COLOR][/SIZE][/FONT][/COLOR]

[toggle]

Haben wollen!

[gaert]

Kein Problem Intel 2800DT oder so ähnlich (steht irgendwo im Hardware-Thread)...

[toggle]

Weitere Erkenntnisse:

SELECT COUNT(datetime) AS anz0,MIN(CAST(gavalue AS DECIMAL(20,4))) AS anz1,MAX(CAST(gavalue AS DECIMAL(20,4))) AS anz2 FROM edomiLive.archivKoData WHERE (targetid="5");

Diese Abfrage dauert 0,65s nur alle 15 Sekunden, sonst ist die Zeit nicht messbar. D.h. während das Diagramm aktualisiert wird oder nachdem es aktualisiert wurde. Es sieht irgendwie nach Cache-Verdrängung aus. Aber mySQL-Tools meinen, dass es mehr als genug Table-Cache gibt. Alternierende Abfragen (mit mehreren verschiedenen Indicies) werden in 0,nix abgeschlossen bis ein Diagramm-Update dazwischen kommt.

In einer VM auf dem Desktop ist die Geschwindigkeit Faktor 20 höher. Die CPU-Last steigt aber auch kurz auf ca. 30% laut edomi-Statusseite.

MarkusS : Nach dem Umzug in diesen Thread verhalten sich die Beträge irgendwie merkwürdig. Ich muss für jede Seite zuerst Reload (F5) drücken, damit alle Beiträge sichtbar sind. Beim Posten wird mir mitgeteilt, dass ich keine leeren Beiträge posten kann. Und wenn ich nochmal auf "Antworten" klicke, wird gemeckert, dass ich 15 Sekunden nach einem Post warten muss.