MQTT API Server und MQTT Clients - LBS19001051 - LBS19001054

[NurMa]

Zunächst nochmal Danke an trollmar das hat wirklich mein Problem gelöst. Der Publish-Baustein läuft wieder einwandfrei.

Verzögerungen oder sonstige Probleme habe ich keine.

Mein EDOMI Server ist aktuell eine ESXi VM mit 1 GB Ram und 64 GB Festplatte.

[trollmar]

Hi,

Zu deiner Frage.
Intel NUC Kit NUC6i3SYH
128GB Transcend MTS800 M.2 2280 SATA 6Gb/s MLC (TS128GMTS800)
16 GB RAM

Allerdings läuft Edomi auf einem Proxmox Host.
Ihm sind 4 Kerne und 4GB Ram zugewiesen.
Auserdem laufen noch 3 andere VMs .
Allerdings ist die CPU Auslastung wirklich sehr weit unten.



Zum Status:

also .... ich denke es läuft wieder.
Habe nachdem ich die mySQL datenbank per Hand gelöscht habe nochmal
den ganzen LBS samt Install Script neu installiert.
Zumindest spuckt der mosquitto Log ne menge aus.

Jetzt ist das System wesentlich mehr responsive.
Gefüllt aber immer noch etwas träge.
Das "Live" schalten ein GA Ko dauert jetzt nur noch 1-2 sek, manchmal auch unter ner sekunde.

Lustigerweise sind immer noch RW Err nach Neustart da. Erst nur einer.
Steigt dann aber sehr langsam. Nach 30 min jetzt 2




@Jonofe
Hast du bei dir mal gemessen wie lange ein iko publish bei dir dauert?
Zum Beispiel anhand der Systemzeit (iko 5) oder minuten trigger (iko 20)???

Kann man das anhand des Mosquitto Logs erkennen also mit Timestamp?
Mein Test Subscriber (mosquitto.ffx) meldet z.B exakt 17 sek nach jeder minuter den iko 20. Also 17 sek später als der Trigger bei edomi triggert.

Ich erkenne da keinen Timestamp

1501186441: Received PUBLISH from EDOMI MQTT Publish Server (302) (d0, q1, r1, m1, 'edomi/status/internal/5', ... (8 bytes))

LG

[trollmar]

Also ich nochmal ;-)


Ich habe mal den Server Publish wieder deaktiviert.
Und mal nur ein Licht KNX Ko über die Client LBS realisiert.

Was soll ich sagen.... Kein vergleich.
Mit MQTT Dash auf Android ..Button gedrückt ..Gefühlt gleichzeit Licht aus.

VERDAMMMMMMMT .. ich will nicht alles einzeln in unzähligen Logikseiten bauen

[Nanosonde]

Hallo zusammen,

ich wollte Euch nur kurz den neuen LBS "MQTT Topic Parser" vorstellen: https://service.knx-user-forum.de/?c...ad&id=19001078

Hiermit ist es dann recht einfach möglich, auf diverse Geräte zu reagieren, ohne diverse LBS zusammenstöpseln zu müssen, um die Strings auseinanderzunehmen.

Ich überlege noch, eine Mehrfach-Version zu erstellen, die dann noch besser für viele gleiche Geräte geeignet ist. Der Eingang E3 existiert dann mehrfach und hat jeweils einen entsprechenden Ausgang. Im Zusammenspiel mit dem Wildcard-Operator '+' recht hilfreich.

Ich nutze das für hm2mqtt (Homematic).

Achso: Der Eingang E1 ist dafür gedacht, mit dem Ausgang A6 des MQTT Subscriber Client LBS verbunden zu werden.

[trollmar]

Danke!!! Schaue ich mir die Tage an!!
Lg

[Nanosonde]

Kurzes Update:

Den 1-fach MQTT Topic-Parser habe ich angepasst. Neue Version v0.2.

Desweiteren gibt es nun auch die 8-fach Version des Bausteins: https://service.knx-user-forum.de/?c...ad&id=19001079

Beispielverdrahtung:

Leider sieht man wichtiges Details nicht:
* Der MQTT Subscribe Client hat folgendes Topic abonniert: hm/status/#
* Die ersten beiden 1-fach Parser filtern nach: hm/status/+/TEMPERATURE und hm/status/+/HUMIDITY und warten auf die Antwort genau eines Homematic Gerätes mit der an E3 angelegten Seriennummer.
* die nächsten beiden 1-fach Parser filtern nach hm/status/+/LOWBAT und hm/status/+/LOWBAT_REPORTING. Hier wird aber an E3 das '*' als Wildcard verwendet, so dass jeder Baustein mit niedrigem Batterielevel eine Aktion auslöst.
* der 8-fach Parser gibt an den Ausgängen die Meldungen von zwei Homematic-Schaltaktoren mit Leistungsmessung aus. Dazu filtert er nach hm/status/+/VOLTAGE. Die beiden Seriennummern der Geräte von Interesse hängen an E3 und E4.

Da hm2mqtt JSON benutzt, muss dieser noch dekodiert werden, um an den eigentlichen Wert zu kommen.


MQTT_Topic_Parser_Beispiel.PNG

Diese beiden LBS sollten eigentlich überall dort hilfreich sein, wo die MQTT Smarthome Architektur und darauf aufbauende Software zum Einsatz kommt.
Das sind mindestens die ganzen Programme nach dem Schema <irgendwas>2mqtt, wie zum Beispiel: hm2mqtt (bzw. hm2mqtt.js), eno2mqtt, modbus2mqtt, etc.

[tobo]

jonofe ich habe heute mal die LBS installiert. Das Skript 19001051_install.sh brach ab weil phpize nicht gefunden wurde, das ist im Paket php-devel enthalten - ich denke dass es sinnvoll wäre das im Skript zu ergänzen.

Gruß & Danke für die LBS

[tobo]

jonofe Ich habe heute meine ersten Gehversuche gemacht mit den LBS. Sobald ich die Logikseite mit dem Publish Server aktiviere wird meine Visu sehr zäh, schaltet erst nach einigen Sekunde die Seite um, und reagiert gefühlt gar nicht auf Bedienungen.
Alle Topics laufen durch, allerdings laut MQTT Client immer schwallweise - eine halbe Sekunde lang passiert nichts und dann kommen ein halbe Sekunde lange welche, das wiederholt sich endlos. Laut mosquitto.log wird sekündlich vom Publish Server die Verbindung getrennt und wiederhergestellt:

1502297611: New connection from 192.168.11.168 on port 1883.
1502297611: New client connected from 192.168.11.168 as EDOMI MQTT Publish Server (3614) (c1, k60, u'edomi').
1502297611: Sending CONNACK to EDOMI MQTT Publish Server (3614) (0, 0)
1502297611: Received PUBLISH from EDOMI MQTT Publish Server (3614) (d0, q0, r0, m0, 'edomi/status/knx/Dämmerung', ... (6 bytes))
1502297611: Sending PUBLISH to d30bc662-9fa3-4862-8b38-13467aff757b1502288187410 (d0, q0, r0, m0, 'edomi/status/knx/Dämmerung', ... (6 bytes))
1502297611: Sending PUBLISH to nodered (d0, q0, r0, m0, 'edomi/status/knx/Dämmerung', ... (6 bytes))
1502297611: Received PUBLISH from nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297611: Sending PUBLISH to nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297611: Received PUBLISH from EDOMI MQTT Publish Server (3614) (d0, q0, r0, m0, 'edomi/status/knx/0-2-3', ... (6 bytes))
1502297611: Sending PUBLISH to d30bc662-9fa3-4862-8b38-13467aff757b1502288187410 (d0, q0, r0, m0, 'edomi/status/knx/0-2-3', ... (6 bytes))
1502297611: Sending PUBLISH to nodered (d0, q0, r0, m0, 'edomi/status/knx/0-2-3', ... (6 bytes))
1502297611: Received PUBLISH from nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297611: Sending PUBLISH to nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297611: Received DISCONNECT from EDOMI MQTT Publish Server (3614)
1502297611: Client EDOMI MQTT Publish Server (3614) disconnected.
1502297612: New connection from 192.168.11.168 on port 1883.
1502297612: New client connected from 192.168.11.168 as EDOMI MQTT Publish Server (3614) (c1, k60, u'edomi').
1502297612: Sending CONNACK to EDOMI MQTT Publish Server (3614) (0, 0)
1502297612: Received PUBLISH from EDOMI MQTT Publish Server (3614) (d0, q0, r0, m0, 'edomi/status/knx/Gäste WC Helligkeit', ... (6 bytes))
1502297612: Sending PUBLISH to d30bc662-9fa3-4862-8b38-13467aff757b1502288187410 (d0, q0, r0, m0, 'edomi/status/knx/Gäste WC Helligkeit', ... (6 bytes))
1502297612: Sending PUBLISH to nodered (d0, q0, r0, m0, 'edomi/status/knx/Gäste WC Helligkeit', ... (6 bytes))
1502297612: Received PUBLISH from nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297612: Sending PUBLISH to nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297612: Received PUBLISH from EDOMI MQTT Publish Server (3614) (d0, q0, r0, m0, 'edomi/status/knx/1-3-21', ... (6 bytes))
1502297612: Sending PUBLISH to d30bc662-9fa3-4862-8b38-13467aff757b1502288187410 (d0, q0, r0, m0, 'edomi/status/knx/1-3-21', ... (6 bytes))
1502297612: Sending PUBLISH to nodered (d0, q0, r0, m0, 'edomi/status/knx/1-3-21', ... (6 bytes))
1502297612: Received PUBLISH from nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297612: Sending PUBLISH to nodered (d0, q0, r0, m0, 'result', ... (6 bytes))
1502297612: Received PINGREQ from d30bc662-9fa3-4862-8b38-13467aff757b1502288187410
1502297612: Sending PINGRESP to d30bc662-9fa3-4862-8b38-13467aff757b1502288187410
1502297612: Received DISCONNECT from EDOMI MQTT Publish Server (3614)

Die CPU-Last auf der Mosquitto VM liegt nahe null. Die VM in der Edomi läuft (mit 4 Cores und 2GB RAM) hat laut top 1,3 GB RAM frei und die Auslastung liegt im Mittel bei ca. 6%.

Edomi greift exklusiv auf einen KNX/IP Gateway (Eibmarkt, kein Router) zu. Die Telegrammrate ist bei mir auf 30 gesetzt (auch die default-20 habe ich getestet). Auch bei mir gibt es Sequenzfehler:

2017-08-09 18:41:32,441816,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=103, Soll-Wert=104 / Raw: 061004200017049667002900bce011240b15030080245a,ERROR
2017-08-09 18:41:40,271425,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=113, Soll-Wert=114 / Raw: 061004200017049671002900bce0111d0b2a0300802ce0,ERROR
2017-08-09 18:41:56,351936,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=129, Soll-Wert=130 / Raw: 061004200017049681002e009de0fffa020c0300404d6a,ERROR
2017-08-09 18:43:10,900201,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=216, Soll-Wert=217 / Raw: 0610042000170496d8002900bce0116202000300804cce,ERROR
2017-08-09 18:43:12,353807,KNX,5488,EDOMI @ DE | TUNNELING_ACK / Timeout nach 1s / ErrMsg: Kein TUNNELING_ACK vom Router erhalten / Wiederholen,ERROR
2017-08-09 18:43:12,366295,KNX,5488,ROUTER @ CE | DISCONNECT_REQUEST / Raw: 06100209001096960801c0a80bab0e57,ERROR
2017-08-09 18:43:12,378669,KNX,5488,KNX-Verbindung verloren.,ERROR
2017-08-09 18:44:19,332892,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=65, Soll-Wert=66 / Raw: 061004200015049741002900bce011193000010081,ERROR
2017-08-09 18:46:59,883877,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=2, Soll-Wert=3 / Raw: 061004200017049702002e009de0fffa02150300804d3c,ERROR
2017-08-09 18:47:29,417269,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=56, Soll-Wert=57 / Raw: 061004200015049738002900bce011193000010081,ERROR
2017-08-09 18:49:36,136967,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=246, Soll-Wert=247 / Raw: 0610042000170497f6002900bce0116202050300800060,ERROR
2017-08-09 18:50:27,481380,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=49, Soll-Wert=50 / Raw: 061004200017049731002900bce011620205030080002d,ERROR
2017-08-09 18:51:34,079559,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=147, Soll-Wert=148 / Raw: 061004200017049793002900bce011240b150300801eab,ERROR
2017-08-09 18:53:07,089168,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (noACK): Ist-Wert=255, Soll-Wert=0 / Raw: 0610042000170497ff002900bce0111d0b2a0300802c10,ERROR
2017-08-09 18:53:36,446923,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=43, Soll-Wert=44 / Raw: 06100420001604972b002e009de0fffa130002008000,ERROR
2017-08-09 18:54:26,321460,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=119, Soll-Wert=120 / Raw: 061004200017049777002900bce011230b240300802dec,ERROR
2017-08-09 18:54:59,964016,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=159, Soll-Wert=160 / Raw: 06100420001504979f002900bce0111d3007010081,ERROR
2017-08-09 18:56:26,449693,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=17, Soll-Wert=18 / Raw: 061004200017049711002900bce01162020503008000aa,ERROR
2017-08-09 18:56:29,186331,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=20, Soll-Wert=21 / Raw: 061004200015049714002900bce0111d3207010081,ERROR
2017-08-09 18:56:55,255695,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=58, Soll-Wert=59 / Raw: 06100420001504973a002e00bce0fffa0108010080,ERROR
2017-08-09 18:57:43,099701,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=133, Soll-Wert=134 / Raw: 061004200015049785002900bce0111a3001010081,ERROR
2017-08-09 18:58:40,105971,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=205, Soll-Wert=206 / Raw: 0610042000150497cd002900bce011223005010081,ERROR
2017-08-09 18:58:52,283205,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=214, Soll-Wert=215 / Raw: 0610042000170497d6002900bce0111d0b2a030080269d,ERROR
2017-08-09 18:59:19,480057,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=11, Soll-Wert=12 / Raw: 06100420001504970b002900bce011193000010081,ERROR
2017-08-09 18:59:43,342374,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=50, Soll-Wert=51 / Raw: 061004200015049732002900bce011223005010080,ERROR
2017-08-09 19:00:25,937536,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=92, Soll-Wert=93 / Raw: 06100420001704975c002900bce011230b240300802c5f,ERROR
2017-08-09 19:02:21,704636,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=245, Soll-Wert=246 / Raw: 0610042000170497f5002900bce0110919050300800ca6,ERROR
2017-08-09 19:02:25,882275,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=253, Soll-Wert=254 / Raw: 0610042000170497fd002900bce011230b24030080277b,ERROR
2017-08-09 19:03:52,330569,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=125, Soll-Wert=126 / Raw: 06100420001504977d002e00bce0fffa0108010080,ERROR
2017-08-09 19:05:21,948523,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=5, Soll-Wert=6 / Raw: 061004200017049705002900bce0110919050300800cab,ERROR
2017-08-09 19:05:25,301386,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=9, Soll-Wert=10 / Raw: 061004200017049709002900bce011260b360300801c8c,ERROR
2017-08-09 19:06:22,283965,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=96, Soll-Wert=97 / Raw: 061004200017049760002900bce0110619000300800c79,ERROR
2017-08-09 19:06:40,710654,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=122, Soll-Wert=123 / Raw: 06100420001504977a002900bce0111a3001010080,ERROR
2017-08-09 19:06:46,868856,KNX,5488,ROUTER @ DE | TUNNELING_REQUEST / Hinweis: SequenceCounter abweichend (ACK): Ist-Wert=128, Soll-Wert=129 / Raw: 061004200017049780002900bce0112919070300800c60,ERROR

Sobald ich denk LBS deaktivere läuft alles wieder flüssig. Ein Log schreibt der scheinbar trotz Level 8 nicht. Die Tipps weiter vorn mit der Datenbank habe ich ausprobiert - ohne Erfolg.


EDIT:

EDIT entfernt, das war was anderes.

[vento66]

Es scheint am publish Server zu liegen, seit den ich den deaktiviert habe, sind die Verzögerungen wieder weg. An der Auslastung der Edomi Maschine waren auch keine Auffälligkeiten. Da scheint intern was zu klemmen.

[tobo]

Ja, der Zusammenhang ist eindeutig. Irgendwo weiter vorn habe ich das gelesen, da hat jemand Proxmox im Einsatz - genau wie ich. Eventuell liegt das Problem ja hier irgendwo?

[trollmar]

Glaube nicht das es an proxmox liegt. Eher in dem wie die Server lbs arbeiten können. Bin auf einzelne umgestiegen. Seitdem gut. Hab allerdings auch erst ein paar fürs Licht gemacht.

[sunnyhd]

Hab bei mir das gleiche festgestellt. Deutliche Verzögerungen beim Schalten von GAs wenn der Publisher Server aktiviert ist. Plattform apu2c4.

Gruß
Klaus

[tobo]

trollmar das würde ich dann auch so lösen, zumindest für die wichtigsten Elemente. Würde es Dir etwas ausmachen Screenshots von Deinen Logiken zu zeigen - ich habe heute schon genug Trial & Error gehabt... Danke!

[jonofe]

jonofe ich habe heute mal die LBS installiert. Das Skript 19001051_install.sh brach ab weil phpize nicht gefunden wurde, das ist im Paket php-devel enthalten - ich denke dass es sinnvoll wäre das im Skript zu ergänzen.

Gruß & Danke für die LBS

Habe das mal in der Doku ergänzt. Vielen Dank.

[jonofe]

Ich habe das Thema Verzögerung von Schaltaktivitäten bei mir noch mal geprüft. Ich habe derzeit keines der geschilderten Probleme. Wenn ich das Mosquitto Log parallel mitlaufen lassen, dann sehe ich z.B. den EDOMI Timestamp genau zur richtigen Zeit, d.h. Zeitstempel EDOMI ist gleich Zeitstempel des Log Eintrages. Und auch wenn ich KNX schalte, dann ist der Schaltung wirklich ohne Verzögerung und auch die Status GA erscheint sofort im Mosquitto log.

Screenshot from 2017-08-10 08-25-21.png

Hier übrigens noch mal ein Befehl, mit dem man sich die Mosquitto Aktivitäten Live ganz gut anschauen kann, insbesondere mit lesbarem Timestamp:

mosquitto_sub -u edomi -P edomi -v -t '#' | xargs -d$'\n' -L1 sh -c 'date "+%d.%m.%Y %T $0"' | ccze -m ansi

Ggf. muss "ccze" noch installiert werden:

apt-get install ccze

Was ich mir noch vorstellen könnte, dass es an der EDOMI Last liegt. Bei mir läuft es auf meinem Testsystem. Die KNX Last ist natürlich die produktive Last aber die EDOMI Last ist natürlich deutlich geringer.

Läuft bei euch Mosquitto auf dem EDOMI Server oder auf einem separaten Device?