Was ist mit meinem Edomi los? 20min Wartezeit nach Neustart

[hartwigm]

Ich habe seit einigen Tagen ein sehr langsames System.
Zwischen der Projektaktivierung und einem laufenden System vergehen aktuell ca. 20min


Version 2.03 auf Centos 7.6

Hardware Windowsserver mit HyperV
Zugewiesene CPU´s: 4
Zugewiesener Speicher 8GB

Zeitabläufe:

14:01:00 Projekt aktivieren nach Programmänderung


14:07:02- Arbeitsprojekt aktiviert
14:07:17 - init
14:09:05 - Start

Nun läuft die logic Queued hoch auf ca. 1000 und bleibt dann stehen - keine Reaktion mehr
14:15:00 Springt dann auf 4431 und wird nun abgearbeitet

14:22:00 Queue kommt erstmals bei 0 an und bewegt sich nun zwischen 0 - 100

Edomi Syslog
2022-03-02 14:09:15 680691 MAIN 25724 START Ok
2022-03-02 14:09:16 127170 EXEC 27908 Logs/Archive/Autobackups aufräumen Ok
2022-03-02 14:09:27 864346 EXEC 27908 Datenarchiv (112): 7 alte Einträge entfernt, 35272 Einträge verbleibend Ok
2022-03-02 14:09:31 862514 EXEC 27908 Datenarchiv (222): 8 alte Einträge entfernt, 18950 Einträge verbleibend Ok
2022-03-02 14:09:35 745151 EXEC 27908 Datenarchiv (235): 72 alte Einträge entfernt, 201195 Einträge verbleibend Ok
2022-03-02 14:09:35 878050 EXEC 27908 Datenarchiv (237): 8 alte Einträge entfernt, 829 Einträge verbleibend Ok
2022-03-02 14:09:46 465974 EXEC 27908 Datenarchiv (249): 8 alte Einträge entfernt, 15382 Einträge verbleibend Ok
2022-03-02 14:09:46 618483 EXEC 27908 Datenarchiv (250): 8 alte Einträge entfernt, 15270 Einträge verbleibend Ok
2022-03-02 14:09:49 776710 EXEC 27908 Datenarchiv (256): 2 alte Einträge entfernt, 103 Einträge verbleibend Ok
2022-03-02 14:09:50 238275 EXEC 27908 Datenarchiv (263): 9 alte Einträge entfernt, 18202 Einträge verbleibend Ok
2022-03-02 14:09:55 001487 EXEC 27908 Datenarchiv (268): 2 alte Einträge entfernt, 7292 Einträge verbleibend Ok
2022-03-02 14:09:55 149796 EXEC 27908 Datenarchiv (273): 1 alte Einträge entfernt, 4277 Einträge verbleibend Ok
2022-03-02 14:10:10 216764 EXEC 27908 Datenarchiv (311): 33 alte Einträge entfernt, 122730 Einträge verbleibend Ok
2022-03-02 14:10:10 468056 EXEC 27908 Datenarchiv (319): 87 alte Einträge entfernt, 8237 Einträge verbleibend Ok
2022-03-02 14:10:11 806425 EXEC 27908 Datenarchiv (230) verdichtet: 99 Einträge von 1984 verrechnet und entfernt, 1885 Einträge verbleibend Ok
2022-03-02 14:10:18 386121 EXEC 27908 Datenarchiv (238) verdichtet: 86 Einträge von 961127 verrechnet und entfernt, 961041 Einträge verbleibend Ok
2022-03-02 14:10:18 981507 EXEC 27908 Datenarchiv (239) verdichtet: 9 Einträge von 98860 verrechnet und entfernt, 98851 Einträge verbleibend Ok
2022-03-02 14:10:21 769764 EXEC 27908 Datenarchiv (262) verdichtet: 35 Einträge von 1257 verrechnet und entfernt, 1222 Einträge verbleibend Ok
2022-03-02 14:10:24 059381 EXEC 27908 Datenarchiv (265) verdichtet: 1 Einträge von 365 verrechnet und entfernt, 364 Einträge verbleibend Ok
2022-03-02 14:10:24 891376 EXEC 27908 Datenarchiv (277) verdichtet: 18 Einträge von 1629 verrechnet und entfernt, 1611 Einträge verbleibend Ok
2022-03-02 14:10:24 948918 EXEC 27908 Datenarchiv (278) verdichtet: 18 Einträge von 1629 verrechnet und entfernt, 1611 Einträge verbleibend Ok
2022-03-02 14:10:25 005857 EXEC 27908 Datenarchiv (279) verdichtet: 18 Einträge von 1629 verrechnet und entfernt, 1611 Einträge verbleibend Ok
2022-03-02 14:10:25 063561 EXEC 27908 Datenarchiv (280) verdichtet: 18 Einträge von 1629 verrechnet und entfernt, 1611 Einträge verbleibend Ok
2022-03-02 14:10:25 104063 EXEC 27908 Datenarchiv (281) verdichtet: 43 Einträge von 1421 verrechnet und entfernt, 1378 Einträge verbleibend Ok
2022-03-02 14:15:54 169670 EXEC 27908 Meldungsarchiv (1): 1 alte Einträge entfernt, 1399 Einträge verbleibend Ok
2022-03-02 14:15:54 225512 EXEC 27908 Meldungsarchiv (2): 7 alte Einträge entfernt, 2514 Einträge verbleibend Ok
2022-03-02 14:15:54 316834 EXEC 27908 Meldungsarchiv (8): 5 alte Einträge entfernt, 46 Einträge verbleibend Ok
2022-03-02 14:15:54 485831 EXEC 27908 Meldungsarchiv (16): 88 alte Einträge entfernt, 2689 Einträge verbleibend Ok
2022-03-02 14:15:54 543375 EXEC 27908 Meldungsarchiv (17): 16 alte Einträge entfernt, 3494 Einträge verbleibend Ok
2022-03-02 14:15:54 684722 EXEC 27908 Meldungsarchiv (23): 4 alte Einträge entfernt, 21509 Einträge verbleibend Ok
2022-03-02 14:15:54 762207 EXEC 27908 Meldungsarchiv (32): 43 alte Einträge entfernt, 2708 Einträge verbleibend Ok
2022-03-02 14:15:54 923831 EXEC 27908 Meldungsarchiv (35): 43 alte Einträge entfernt, 41984 Einträge verbleibend Ok
2022-03-02 14:15:56 862510 EXEC 27908 Kameraarchiv (4): 2 alte Bilder entfernt, 2228 Bilder verbleibend Ok
2022-03-02 14:15:56 932605 EXEC 27908 Kameraarchiv (7): 1 alte Bilder entfernt, 487 Bilder verbleibend Ok
2022-03-02 14:15:57 664601 EXEC 27908 Kameraarchiv (8): 26 alte Bilder entfernt, 394 Bilder verbleibend Ok
2022-03-02 14:15:58 648421 EXEC 27908 Kameraarchiv (10): 99 alte Bilder entfernt, 3248 Bilder verbleibend Ok
2022-03-02 14:15:58 669989 EXEC 27908 Kameraarchiv (11): 2 alte Bilder entfernt, 1135 Bilder verbleibend Ok
2022-03-02 14:15:59 130887 EXEC 27908 Kameraarchiv (12): 72 alte Bilder entfernt, 5948 Bilder verbleibend Ok
2022-03-02 14:15:59 144864 EXEC 27908 Kameraarchiv (13): 1 alte Bilder entfernt, 663 Bilder verbleibend Ok
2022-03-02 14:15:59 228348 EXEC 27908 Kameraarchiv (17): 5 alte Bilder entfernt, 4424 Bilder verbleibend Ok
2022-03-02 14:15:59 261385 EXEC 27908 Kameraarchiv (18): 3 alte Bilder entfernt, 1803 Bilder verbleibend Ok
2022-03-02 14:15:59 314388 EXEC 27908 Kameraarchiv (27): 1 alte Bilder entfernt, 2881 Bilder verbleibend Ok
2022-03-02 14:15:59 383846 EXEC 27908 Kameraarchiv (29): 8 alte Bilder entfernt, 2902 Bilder verbleibend Ok
2022-03-02 14:16:15 736282 EXEC 32248 EDOMI-Autoupdate: Update-Verfügbarkeit prüfen

edomi.png

[gibsonrocker]

Was hast Du denn als letztes geändert? Irgendwelche Logiken "gebastelt"?

[hartwigm]

Umgestellt von 6.5 auf 7.6 und und und ...

Ich kann es leider an nichts festmachen, und zurück auf 6.5 kann/will ich nicht.

M.M nach ist es ein mysql Problem. In der Zeit in welche die Logik Queue nichts mehr reagiert, kann noch per ssh auf den Server zugreifen, auch ist die Last OK (ca. 60%)

Wenn ich aber versuche auf die SQL Datenbank zuzugreifen, dann geht da minutenlange nichts.

[gibsonrocker]

Dann mach doch einfach mal ein Edomi-Backup und setz die Kiste noch einmal neu auf. Bei "und und und..." wird wohl irgendwas schief gegangen sein

[hartwigm]

Umgestellt von 6.5 auf 7.6 und und viel altes rausgeworfen, aktualisierte LBS eingespielt.

Ich kann es leider an nichts festmachen.

M.M nach ist es ein mysql Problem. In der Zeit in welche die Logik Queue nicht mehr reagiert, kann noch per ssh auf den Server zugreifen, auch ist die Last OK (ca. 60%)

Wenn ich aber versuche auf die SQL Datenbank zuzugreifen, dann geht da minutenlange nichts.

Ich habe auch dem HV-Prozess schon doppelt so viel Speicher zugeordnet, aber auch ohne Erfolg.
Kann ich dem mysql irgendwie mehr Power geben?

[Glotzkowski]

Hast Du viele MQTT-Instanzen?
Vor geraumer Zeit hatte ich von speziellen LBS für einige Dinge (PV, Heizung, eHZ usw.) auf MQTT umgestellt.
Die Initialisierung der ganzen MQTT-Instanzen bewirkte, dass die Queue beim Start extrem angestiegen ist und dann zunächst abgearbeitet werden musste.
Geholfen hat hier, das Entfernen des "Retain-Flags" auf dem Broker, da hierduch am Broker, während des EDOMI-Neustart, aufgelaufene MQTT-Nachrichten nicht "nachträglich" zu EDOMI geleitet werden.
Zudem könntest Du in der Basiskonfiguration von IP auf Unix-Sockets rekonfigurieren (keine IP-Adresse bzw. das Feld leeren, wie in der Beschreibung des Feldes angegeben).

[TobiDD]

Würde mal alle logikseiten deaktivieren und dann schrittweise wieder einschalten

[gaxy]

check mal die system zeit via shell und die zeit in edomi

[hartwigm]

Danke für Eure Hilfe und Anregungen

gaxy Uhrzeit passt. TobiDD - Wenn ich hier Logik für Logik abschalte und jedes mal neu starte, dann brauche ich 4 Woche Urlaub und zum Frühstück Valium


Glotzkowski
Das dürfte in der Tat das Problem sein. Ich habe zwar nur einen Subscriber Server und einen Subscribe Client und einen Publish Client..
Aber der Subscribe Server empfängt vom IObroker sehr viele Werte.
Insbesondere die Lüftungswerte von 2 Lüftungsanlagen schicken, da heftig Daten.

Ich mal mal testweise das Log beim MQTT Subscribe Server aktiviert. Damit geht die Queue gleich mal auf 2000 hoch und da Logfile hat nach dem Start 827MB mit 39316 Einträge.

Jetzt muß ich mal schauen, wie ich das ausdünnen kann.

Testweise auch mal den MQTT Subscribe Server deaktiviert - System ist nach 5min da, wenn aktiviert nach 22 min