Oszillatorbaustein

[wintermute]

Hi Christian,

mir ist heut durch Zufall aufgefallen, dass der Oszillatorbaustein recht deutlich auf die Performance klopft.
Vorneweg: es handelt sich hier um einen Quadcore Atom D525, 2GB, Intel-SDD. Das Edomi System ist im wesentlichen leer (also keine Visu, nur zum Logiktest in Betrieb). Version ist uebrigens noch nicht die 1.18, sondern noch eine 1.17...

Jeder Oszi-LBS genehmigt sich da so etwa 5-6% CPU durch PHP und nochmal etwa 5% CPU durch MySQL. Lege ich also zB eine Seite mit 10 Bausteinen an und aktiviere die, schaut es in meinem Top wie folgt aus - CPU Auslastung ist die 4. Spalte von rechts gesehen (die Edomi-eigenen Graphen kann ich leider nicht posten, die zeigen bei mir - vermutlich wegen eines anderen Kernels - nix sinnvolles mehr an):

11530 root      20   0  320m  11m 7532 S 66.9  0.6   0:18.51 php
 1636 mysql     20   0  781m  84m 5908 S 51.4  4.5  12:17.15 mysqld

Deaktiviere ich die Logik-Seite, geht alles wieder in den Normalzustand:

 4843 root      20   0  320m  11m 7544 S  5.3  0.6   0:01.22 php
 1636 mysql     20   0  781m  83m 5904 S  3.3  4.4   4:39.41 mysqld

2 Oszillatoren zeigen in der Auslastung so:

 4666 root      20   0  320m  11m 7548 R 18.9  0.6   0:03.87 php
 1636 mysql     20   0  781m  81m 5904 S 12.9  4.3   4:29.04 mysqld

Also ein deutlich linearer Zusammenhang.

Da ich mir gedahct habe, dass das irgendwie in der Natur der Sache liegt (also gemaess der Abarbeitung innerhalb von Edomi - so wie ich es verstanden habe), bin ich zu dem Schluss gekommen aus Deinem Baustein eine Daemon-Variante zu bauen. Das sollte generell kompatibel geworden sein (hat aber noch einen optionalen Eingang mehr). Bei identischer LBS Konfiguration und 10 von den Daemon-Bausteinen auf einer Seite, sieht die Auslastung dann im Endeffekt so aus:

12242 root      20   0  320m  11m 7496 S  6.0  0.6   0:00.82 php
 1636 mysql     20   0  781m  83m 5928 S  3.6  4.4  14:16.55 mysqld

Lange Rede, kurzer Sinn: soll ich den Baustein einfach ins Portal schubsen oder moechtest du den vllt direkt verbauen?

gruesse :: Michael

[SeatSLF]

Portal find ich klasse

[wintermute]

Büddeschön: 19000109

[gaert]

Unabhängig von deinem LBS:

ich habe testweiseweise mal 1024 Timer und 1024 Oszillatoren gleichzeitig laufen lassen - ohne nennenswerte Cpu-Last... Die Ursache wird also woanders zu suchen sein beispielsweise in der Logik NACH dem oszi...

wichtig dabei: die Last steigt natürlich stark an, denn plötzlich hat MySQL ja etwas zu tun... Aber es skaliert nicht linear - 1000 oszis sind fast wie 1 oszi... Aber keine Sorge: es bleiben noch genug Ressourcen übrig. Eine hohe cpu-Last in dieser Situation bedeutet nur, dass genug Ressourcen verfügbar sind - und die schnappt sich EDOMI dann halt.

EDIT:
Kommt natürlich auch auf die Frequenz an - EDOMI ist kein HF-Generator Du musst bedenken: Pro Zyklus werden 2 "Telegramme" ausgegeben (1/0).

[gaert]

Hier der Beweis: 1024 Oszillatoren laufen (500ms Ein, 500ms Aus). CPU-Last=10%... Die Oszis machen allerdings auch nichts weiter - setzen also keine KOs oder der Gleichen. Dein Dämon-Ansatz ist eher sinnfrei - was soll's bringen?!

Das alles übrigens in einer VM mit 1 Core... Auf meinem uralten iMac 2007
Bildschirmfoto 2016-02-19 um 17.27.49.png

[wintermute]

ich habe testweiseweise mal 1024 Timer und 1024 Oszillatoren gleichzeitig laufen lassen - ohne nennenswerte Cpu-Last... Die Ursache wird also woanders zu suchen sein beispielsweise in der Logik NACH dem oszi...

Uhm... nach dem Oszi ist aber garnix, also die gesamte Logik besteht ausschliesslich aus den Oszis zum testen, keine Verbindungen, kein garnix. Und die gemessenen Werte sind reproduzierbar, probiers aus
Aber ja, mir ist klar, dass 60% CPU Auslastung (auf einem Kern) nicht lebensbedrohlich ist, aber ich hab es geschafft von 60 auf 0 zu kommen. Und was man hat, hat man

Und ja, es "skaliert" tatsaechlich nicht linear, irgendwo um 60-70% ist Schluss - 30 Oszis erzeugen bei mir folgendes top, also nicht mehr viel Aenderung zu den 10:

Tasks: 131 total,   2 running, 129 sleeping,   0 stopped,   0 zombie
Cpu(s): 17.2%us, 10.7%sy,  0.0%ni, 72.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   1921384k total,   323576k used,  1597808k free,    70312k buffers
Swap:  2097148k total,        0k used,  2097148k free,    71848k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
14748 root      20   0  320m  11m 7516 R 70.2  0.6   0:27.05 php
 1636 mysql     20   0  782m  84m 5956 S 58.0  4.5  17:20.56 mysqld

Die Daemon-Variante mit 30 Oszis sieht dann so aus (jeweils mit 100ms Frequenz):

Tasks: 162 total,   1 running, 161 sleeping,   0 stopped,   0 zombie
Cpu(s):  4.0%us,  2.9%sy,  0.0%ni, 93.0%id,  0.0%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   1921384k total,   422972k used,  1498412k free,     7492k buffers
Swap:  2097148k total,        0k used,  2097148k free,    91216k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1634 mysql     20   0 2331m  85m 5732 S  9.6  4.6   0:03.40 mysqld
 1688 root      20   0  320m  11m 7436 S  6.3  0.6   0:02.16 php

Mehr Speicher, dafuer weniger CPU. Allerdings macht die Daemon-Version vllt auch nur deshalb mehr Sinn, weil man die Frequenz definieren kann in der der Baustein arbeitet, wird das zu fix geht das System halt in die Knie. Von daher kann ich beide Ergebnisse auch nicht wirklich vergleichen, mir ist halt nur die recht signifikante DB-Last aufgefallen - schon bei einem Oszi...

Und ueberhaupt: aufgefallen ist mir das erst, weil ich die Performance eines eigenen LBS testen wollte. Man sucht man sich nen Wolf was da grad passiert und dann ist man garnicht selber Schuld, sondern der Oszi der die Debug-Ausgabe triggern soll

BTW: 0.1 Version von dem LBS ist grad nicht mehr verfuegbar, mir ist nen Bug aufgefallen.

[wintermute]

Hier der Beweis: 1024 Oszillatoren laufen (500ms Ein, 500ms Aus). CPU-Last=10%...

Dann ist mein top scheinbar kaputt *schulterzuck*
Oder aber es liegt an den Zeiten, ich habe 500ms High, 4500ms Low.

[wintermute]

Dann ist mein top scheinbar kaputt *schulterzuck*

Ja, muss es:

top - 18:58:13 up 23 min,  2 users,  load average: 0.03, 0.07, 0.02
Tasks: 132 total,   2 running, 130 sleeping,   0 stopped,   0 zombie
Cpu(s): 20.8%us, 11.7%sy,  0.0%ni, 67.5%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   1921384k total,   270524k used,  1650860k free,    10792k buffers
Swap:  2097148k total,        0k used,  2097148k free,    68064k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 2393 root      20   0  320m  11m 7516 R 66.5  0.6   8:02.37 php
 1634 mysql     20   0 2326m  94m 5912 S 60.5  5.0   8:14.19 mysqld

Edomi:
text.png

graph.png

[gaert]

"Top" zeigt m.E. die aktuellen(!) Werte an - EDOMI mittelt aber die letzten 5 Minuten (oder war's 1 Minute?).

Außerdem: Solange KEIN LBS läuft, ist die Last i.d.R. bei 0-3% (bei mir). Sobald auch nur 1 LBS läuft, geht die Last sofort hoch, weil ja erst dann die Logikengine aktiv wird. In der Folge skaliert die Last aber NICHT linear, sondern pendelt sich je nach System irgendwo ein (hast Du ja bereits festgestellt).

[SeatSLF]

hier war wieder so ein Ausreißer

image.pngscheinbar Minute sonst wirde edomi nicht so schnell reagieren

[gaert]

Falls du die (71%) meinst: Das ist der Tageshöchstwert(!) - einschließlich(!) Bootvorgang etc.! Beim Booten geht's meist auf 80-90% rauf... Hat mit EDOMI nichts zu tun

[SeatSLF]

booten war bisher maximal 20, solange er noch mit 93% idle steht, geht es noch

vielleicht macht das centos auch komische sachen im Hintergrund.

[saegefisch]

EDOMI ist kein HF-Generator

Der war gut!
Ach eigentlich schade...wenn man mit edomi seine Instrumente stimmen könnte....oder ein UKW-Sender machen..."Schluss mit Podcasts, jetzt hört Ihr edomi auf 88,7"...



Edit: Möchte mich aber über das Thema nicht lustig machen, denn die Frage hatten sicher auch schon andere. Auch ich frug mich gelegentlich, wie es wohl skaliert und wie es die HW nutzt...

[wintermute]

"Top" zeigt m.E. die aktuellen(!) Werte an - EDOMI mittelt aber die letzten 5 Minuten (oder war's 1 Minute?).

Also irgendwie passt das alles nicht so wirklich, vorsichtig ausgedrueckt
Bleiben wir mal bei meinem aktuellen System, welches bei 30 Oszis gemaess obigem top auf 120% CPU Last kommt, also auf knapp 30% insgesamt (sind ja 4 Cores).
Schauen wir doch mal auf Dinge die sicher richtig sind, zB /proc/stat:

[root@edomi ~]# head -1 /proc/stat
cpu  505219 0 276196 1842454 161 2 306 0 0

Da haben wir also user=505219, nice=0, system=276196, idle=1842454, also usage=user+nice+system=796396 und total=usage+idle=2638850 (ticks, keine Sekunden). Ich weiss, die Rechnung ist nicht exakt, aber die 30% von oben sind ja auch nicht exakt.
Dreisatz ergibt also: CPU=usage*100/total=79639600/2638850 = *trommelwirbel* 30.179661595013 (CPU Auslastung, durchschnittlich seit Systemstart)

Meine Edomi admin-GUI zeigt mir das hier:
graph2.png

Man koennte jetzt drueber diskutieren wieso idle und CPU zusammen 76% und nicht 100% ergeben, wieso 100-76 gefaehrlich nah an den 30% von oben sind und auch darueber ob mein Daemon-LBS oder aber diese Statistik "sinnfrei" ist
Ich moechte statt dessen nur darauf hinweisen, dass mein Atom mit 30 (mittgelieferten) Oszis noch besser performed als Deine VM, ich habe naemlich 0% Auslastung nicht nicht 10%.

Ob das nun aber eine sinnvolle Grundlage zur Performance Erfassung ist wage ich mittlerweile zu bezweifeln
Vor diesem Hintergrund ist aber verstaendlich, wieso Dir nie aufgefallen ist, dass der Oszi nicht ganz so gut in der Performance ist... haette ich nur auf dieses Bild geschaut, haette ich mir da auch keine Gedanken drum gemacht. WIe sagt man so schoen?
Ex falso quodlibet

Hier aber auch nochmal eine (etwas laengere) Ausgabe von sar, auf einzelne Cores aufgebrochen, das ist allemal genauer als top - wie man sieht knallt das voll rein, ein Core ist komplett mti Warten beschaeftigt

gruesse :: Michael

[root@edomi ~]# sar -P ALL 1 20
Linux 2.6.32-573.18.1.el6.x86_64 (edomi.localnet)     19.02.2016     _x86_64_    (4 CPU)

20:44:48        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:49        all     21,09      0,00     13,15      0,00      0,00     65,76
20:44:49          0     44,09      0,00     23,66      0,00      0,00     32,26
20:44:49          1      0,00      0,00      1,98      0,00      0,00     98,02
20:44:49          2     38,89      0,00     26,85      0,00      0,00     34,26
20:44:49          3      0,00      0,00      0,00      0,00      0,00    100,00

20:44:49        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:50        all     20,93      0,00     11,63      0,00      0,00     67,44
20:44:50          0     10,31      0,00      6,19      0,00      0,00     83,51
20:44:50          1     26,97      0,00     16,85      0,00      0,00     56,18
20:44:50          2     13,13      0,00      6,06      0,00      0,00     80,81
20:44:50          3     34,31      0,00     17,65      0,00      0,00     48,04

20:44:50        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:51        all     21,37      0,00      8,91      0,00      0,00     69,72
20:44:51          0     43,16      0,00     17,89      0,00      0,00     38,95
20:44:51          1      1,00      0,00      0,00      0,00      0,00     99,00
20:44:51          2     42,71      0,00     16,67      0,00      0,00     40,62
20:44:51          3      1,00      0,00      0,00      0,00      0,00     99,00

20:44:51        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:52        all     21,66      0,00     10,58      0,00      0,00     67,76
20:44:52          0     44,79      0,00     18,75      0,00      0,00     36,46
20:44:52          1      1,00      0,00      1,00      0,00      0,00     98,00
20:44:52          2     40,78      0,00     23,30      0,00      0,00     35,92
20:44:52          3      0,00      0,00      0,00      0,00      0,00    100,00

20:44:52        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:53        all     21,98      0,00     12,59      0,00      0,00     65,43
20:44:53          0     43,30      0,00     23,71      0,00      0,00     32,99
20:44:53          1      0,00      0,00      1,00      0,00      0,00     99,00
20:44:53          2     42,20      0,00     25,69      0,00      0,00     32,11
20:44:53          3      0,98      0,00      0,98      0,00      0,00     98,04

20:44:53        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:54        all     22,03      0,00     12,62      0,00      0,00     65,35
20:44:54          0     43,16      0,00     23,16      0,00      0,00     33,68
20:44:54          1      1,00      0,00      1,00      0,00      0,00     98,00
20:44:54          2     43,12      0,00     24,77      0,00      0,00     32,11
20:44:54          3      0,00      0,00      0,00      0,00      0,00    100,00

20:44:54        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:55        all     20,65      0,00     11,34      0,00      0,00     68,01
20:44:55          0     39,18      0,00     21,65      0,00      0,00     39,18
20:44:55          1      0,00      0,00      1,01      0,00      0,00     98,99
20:44:55          2     43,14      0,00     23,53      0,00      0,00     33,33
20:44:55          3      1,00      0,00      0,00      0,00      0,00     99,00

20:44:55        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:56        all     21,63      0,00      8,91      0,00      0,00     69,47
20:44:56          0     44,90      0,00     15,31      0,00      0,00     39,80
20:44:56          1      0,99      0,00      1,98      0,00      0,00     97,03
20:44:56          2     41,67      0,00     18,75      0,00      0,00     39,58
20:44:56          3      0,00      0,00      0,00      0,00      0,00    100,00

20:44:56        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:57        all     21,91      0,00     10,08      0,00      0,00     68,01
20:44:57          0     40,62      0,00     20,83      0,00      0,00     38,54
20:44:57          1      1,00      0,00      1,00      0,00      0,00     98,00
20:44:57          2     46,53      0,00     18,81      0,00      0,00     34,65
20:44:57          3      0,00      0,00      0,00      0,00      0,00    100,00

20:44:57        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:58        all     20,95      0,00     13,22      0,00      0,00     65,84
20:44:58          0     36,84      0,00     25,26      0,00      0,00     37,89
20:44:58          1      0,00      0,00      1,01      0,00      0,00     98,99
20:44:58          2     44,76      0,00     24,76      0,00      0,00     30,48
20:44:58          3      0,99      0,00      0,99      0,00      0,00     98,02

20:44:58        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:44:59        all     21,29      0,00     13,12      0,00      0,00     65,59
20:44:59          0     43,16      0,00     24,21      0,00      0,00     32,63
20:44:59          1      0,99      0,00      0,99      0,00      0,00     98,02
20:44:59          2     41,28      0,00     26,61      0,00      0,00     32,11
20:44:59          3      0,00      0,00      0,00      0,00      0,00    100,00

20:44:59        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:00        all     21,32      0,00     12,44      0,00      0,00     66,24
20:45:00          0      9,28      0,00      7,22      0,00      0,00     83,51
20:45:00          1     30,53      0,00     20,00      0,00      0,00     49,47
20:45:00          2      8,16      0,00      6,12      0,00      0,00     85,71
20:45:00          3     34,95      0,00     17,48      0,00      0,00     47,57

20:45:00        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:01        all     20,96      0,00      9,85      0,00      0,00     69,19
20:45:01          0     41,84      0,00     19,39      0,00      0,00     38,78
20:45:01          1      0,99      0,00      0,99      0,00      0,00     98,02
20:45:01          2     41,84      0,00     18,37      0,00      0,00     39,80
20:45:01          3      1,00      0,00      0,00      0,00      0,00     99,00

20:45:01        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:02        all     20,91      0,00     11,34      0,00      0,00     67,76
20:45:02          0     41,24      0,00     22,68      0,00      0,00     36,08
20:45:02          1      1,00      0,00      1,00      0,00      0,00     98,00
20:45:02          2     41,58      0,00     21,78      0,00      0,00     36,63
20:45:02          3      1,00      0,00      0,00      0,00      0,00     99,00

20:45:02        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:03        all     21,14      0,00     12,94      0,00      0,00     65,92
20:45:03          0     16,00      0,00      4,00      0,00      0,00     80,00
20:45:03          1     24,73      0,00     20,43      0,00      0,00     54,84
20:45:03          2      9,62      0,00      8,65      0,00      0,00     81,73
20:45:03          3     34,29      0,00     19,05      0,00      0,00     46,67

20:45:03        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:04        all     21,11      0,00     12,56      0,00      0,00     66,33
20:45:04          0      0,00      0,00      0,00      0,00      0,00    100,00
20:45:04          1     41,30      0,00     23,91      0,00      0,00     34,78
20:45:04          2      0,00      0,00      0,00      0,00      0,00    100,00
20:45:04          3     41,67      0,00     25,93      0,00      0,00     32,41

20:45:04        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:05        all     21,07      0,00     10,66      0,00      0,00     68,27
20:45:05          0     34,38      0,00     23,96      0,00      0,00     41,67
20:45:05          1      0,99      0,00      0,99      0,00      0,00     98,02
20:45:05          2     48,51      0,00     18,81      0,00      0,00     32,67
20:45:05          3      0,00      0,00      0,00      0,00      0,00    100,00

20:45:05        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:06        all     20,21      0,00      9,33      0,00      0,00     70,47
20:45:06          0      1,00      0,00      0,00      0,00      0,00     99,00
20:45:06          1     39,56      0,00     19,78      0,00      0,00     40,66
20:45:06          2      1,01      0,00      0,00      0,00      0,00     98,99
20:45:06          3     42,27      0,00     18,56      0,00      0,00     39,18

20:45:06        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:07        all     20,30      0,00     10,91      0,00      0,00     68,78
20:45:07          0      0,00      0,00      0,00      0,00      0,00    100,00
20:45:07          1     39,78      0,00     20,43      0,00      0,00     39,78
20:45:07          2      0,00      0,00      1,00      0,00      0,00     99,00
20:45:07          3     42,57      0,00     22,77      0,00      0,00     34,65

20:45:07        CPU     %user     %nice   %system   %iowait    %steal     %idle
20:45:08        all     20,25      0,00     13,50      0,00      0,00     66,25
20:45:08          0      1,00      0,00      0,00      0,00      0,00     99,00
20:45:08          1     38,46      0,00     25,27      0,00      0,00     36,26
20:45:08          2      1,00      0,00      0,00      0,00      0,00     99,00
20:45:08          3     41,12      0,00     27,10      0,00      0,00     31,78

Durchschn.:     CPU     %user     %nice   %system   %iowait    %steal     %idle
Durchschn.:     all     21,14      0,00     11,50      0,00      0,00     67,36
Durchschn.:       0     28,67      0,00     14,75      0,00      0,00     56,58
Durchschn.:       1     11,86      0,00      7,65      0,00      0,00     80,48
Durchschn.:       2     29,76      0,00     15,77      0,00      0,00     54,47
Durchschn.:       3     14,17      0,00      7,73      0,00      0,00     78,10

[gaert]

Du kennst eben die Bedeutung von IDLE noch nicht - kein Wunder, die Doku ist ja noch nicht fertig

IDLE ist die Idle-Zeit seit dem letzten Reboot(!) in summa quasi, hat also mit der CPU-Last praktisch nichts zu tun. Sonst wäre es ja nur die "Umkehrfunktion" der CPU-Last - dafür wäre der kostbare Platz im Widget zu schade

Wenn ich Dich richtig verstehe hast Du 0%-10% Last mit 30 Oszis auf echter HW? Das ist doch perfekt