Edomi im Docker-Container - revised

[wolfib]

Hallo,

ich habe den Docker Container relativ problemlos auf meiner Synology NAS zum Laufen bekommen, Vielen Dank dafür!
Ich möchte nun aber gerne eine zweite Instanz laufen lassen. Die http und websocket Ports kann man ja ändern aber den Multicast Port 3671 kann man nicht ändern oder? Und was ist mit den 50000 und 50001 Ports, welchen Zweck haben die?

LG Wolfgang

[tger977]

hab nun nochmal ein Autobackup vor dem Update von vor 2 Tagen eingespielt, damit funktionierte der LBS wieder. Es scheint wohl wirklich was an der DB zerschossen worden zu sein. Ob und wie das mit dem Update nun zusammenhängt weiß ich leider nicht.

Die Frage ist nun ob und wenn ja wie ich am besten die Daten retten kann in der edomiLive.archivKoData... Hat mir da jemand einen Tip?

[tger977]

also ich habe nun doch noch ein Problem: der LBS 19001642 Verbrauchsstatistik funktioniert seit dem EDOMI Containerupdate wohl nicht mehr, es kommen bei jedem Aufruf folgende Errormeldungen und diese führen auch zu keinem Abfrageergebnis aus den Datenarchiven von EDOMI:

 [TABLE="class: log, border: 0, cellpadding: 0, cellspacing: 0, width: 0, height: 12"]
 	 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:26[/TD]
 			[TD]962156[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage MAX Tag[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:26[/TD]
 			[TD]971467[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage MAX vorherige Stunde[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:26[/TD]
 			[TD]976473[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage MAX vorherige Stunde -1h[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:26[/TD]
 			[TD]983658[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage MAX Wert[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:27[/TD]
 			[TD]002938[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage Verbrauch Gestern[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:27[/TD]
 			[TD]011059[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage Verbrauch aktuelle Woche[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:27[/TD]
 			[TD]017035[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage Verbrauch vorherige Woche[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:27[/TD]
 			[TD]023667[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage Verbrauch aktueller Monat[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:27[/TD]
 			[TD]029715[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage Verbrauch vorheriger Monat[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:27[/TD]
 			[TD]037631[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage Verbrauch aktuelles Jahr[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-07 16:25:27[/TD]
 			[TD]051290[/TD]
 			[TD]27893[/TD]
 			[TD]err[/TD]
 			[TD]EXE19001642 [v0.8]: Fehler bei SQL Abfrage Verbrauch vorheriges Jahr[/TD]
 		[/TR]
 	 [/TABLE]

Da scheint nun irgendwas bei einer SQL Datenbankabfrage nicht mehr zu funktionieren.

Im LBS ist dies eine Beispielabfrage die offensichtlich schief geht:

$sql_query="SELECT datetime, ms, targetid, gavalue FROM `edomiLive`.`archivKoData` WHERE datetime=(SELECT MAX(datetime) FROM `edomiLive`.`archivKoData` WHERE targetid=".$targetid_Zaehlerstand." AND datetime >=".$time_day_max.") AND targetid=".$targetid_Zaehlerstand;

Ist das nur bei mir so?

Ich habe auch im Systemlog noch folgenden Eintrag gefunden:

 [TABLE="class: log, border: 0, cellpadding: 0, cellspacing: 0, width: 0, height: 12"]
 	 		[TR="class: cke_show_border"]
 			[TD]2021-04-05 22:10:27[/TD]
 			[TD]243025[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Datenbank: Verbindung herstellen[/TD]
 			[TD]Ok[/TD]
 		[/TR]
 		[TR="class: sErr cke_show_border"]
 			[TD]2021-04-05 22:10:39[/TD]
 			[TD]211343[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Datenbank: edomiLive.archivKoData (automatische Reparatur aktiviert - siehe System-Log): Table is marked as crashed and last repair failed[/TD]
 			[TD]ERROR[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-05 22:10:39[/TD]
 			[TD]246233[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Datenbank: edomiLive.archivKoData repariert. Die Reparatur kann u.U. wirkungslos bleiben - bitte überprüfen![/TD]
 			[TD]Ok[/TD]
 		[/TR]
 		[TR="class: sErr cke_show_border"]
 			[TD]2021-04-05 22:10:40[/TD]
 			[TD]414823[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Datenbank: 117 Datenbanken überprüft (1 Fehler)[/TD]
 			[TD]ERROR[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-05 22:10:40[/TD]
 			[TD]416294[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Datenbank: RAM reservieren (100 MB pro RAM-DB)[/TD]
 			[TD]Ok[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-05 22:10:40[/TD]
 			[TD]653568[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Datenbank: edomiLive erstellen[/TD]
 			[TD]Ok[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-05 22:10:40[/TD]
 			[TD]655766[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Projektaktivierung...[/TD]
 			[TD]Ok[/TD]
 		[/TR]
 		[TR="class: cke_show_border"]
 			[TD]2021-04-05 22:12:14[/TD]
 			[TD]201433[/TD]
 			[TD]MAIN[/TD]
 			[TD]24980[/TD]
 			[TD]Projektaktivierung: Arbeitsprojekt (1) aktiviert[/TD]
 			[TD]Ok[/TD]
 		[/TR]
 	 [/TABLE]

Wie kann ich da weiter prüfen ob es da irgendwas an der Datenbankstruktur zerschossen hat bzw. dies ggf. auch reparieren?

[Pretorianer]

i know, aber auf dem nvidia tx2 läuft leider kein amd64 image
muss mir am abend nochmal anschaun was es da haben kann

[starwarsfan]

Hallo Stefan

starwarsfan/edomi-docker:arm64v8-latest

Rein optisch fällt mir auf die Schnelle kein Fehler auf. Allerdings ist das ARM-Image ist noch nicht aktuell, siehe #741!

[Pretorianer]

Ich habe den container nun auch mit folgender configuration ausgeführt:

docker run \
--name edomi \
--restart=on-failure \
-v edomi-backups:/var/edomi-backups \
-v edomi-db:/var/lib/mysql \
-v edomi-installation:/usr/local/edomi \
-p 80:80 \
-p 8080:8080 \
-p 3671:3671/udp \
-p 50000:50000/udp \
-p 50001:50001/udp \
-p 22222:22 \
-e KNXGATEWAY=192.168.123.199 \
-e KNXACTIVE=true \
-e WEBSOCKETPORT=8080 \
-e HOSTIP=192.168.123.193 \
-d \
starwarsfan/edomi-docker:arm64v8-latest

Leider sagt er mir aber das zwar Apache HTTP Server gestartet wurde und erreichbar ist, aber /admin ist nicht erreichbar. Kann mir grad irgendwer sagen welchen dummen Fehler ich da mache?

Docker logs:

subject=C = NZ, ST = Metropolis, L = Metropolis, CN = edomi
Getting Private key
HOSTIP set to 192.168.123.193 ... configure /usr/local/edomi/edomi.ini and /etc/httpd/conf/httpd.conf
KNXGATEWAY set to 192.168.123.199 ... configure /usr/local/edomi/edomi.ini
KNXACTIVE set to true ... configure /usr/local/edomi/edomi.ini
WEBSOCKETPORT set to 8080 ... configure /usr/local/edomi/edomi.ini
Disabling heartbeat log output every second ... configure /usr/local/edomi/edomi.ini
ERROR:systemctl:Unit ntpd.service could not be found.

EDOMI - (c) Dr. Christian Gärtner

SERVER: Initialisierung
ERROR:systemctl:Unit ntpd.service could not be found.
timeout: failed to run command 'ntpd': No such file or directory
ERROR:systemctl:Unit ntpd.service could not be found.
EDOMI: Basis-Konfiguration
/usr/local/edomi/edomi.ini eingelesen

>>> EDOMI startet in 3 Sekunden (Abbrechen mit ENTER) <<<
07.04.2021 12:54:21 Prozess MAIN gestartet
07.04.2021 12:54:21 EDOMI-Version: 2.02
07.04.2021 12:54:21 EDOMI-ClientId: 8f33aa016b60f05835e4b125edf0cc8584fb030[...]
07.04.2021 12:54:21 Server wurde rebootet
07.04.2021 12:54:21 Prüfung: 64-Bit-System
07.04.2021 12:54:21 PHP-Zeitzone: Europe/Berlin (Sommerzeit)
07.04.2021 12:54:21 Datenbank: Verbindung herstellen
07.04.2021 12:54:21 Datenbank: 0 Datenbanken überprüft (0 Fehler)
07.04.2021 12:54:21 Datenbank: RAM reservieren (100 MB pro RAM-DB)
07.04.2021 12:54:21 Datenbank: edomiAdmin erstellen
07.04.2021 12:54:21 Datenbank: edomiLive erstellen
07.04.2021 12:54:21 Datenbank: edomiLive.RAMcmdQueue löschen
07.04.2021 12:54:21 Datenbank: edomiLive.RAMcmdQueue erstellen
07.04.2021 12:54:21 Prozess QUEUE starten
07.04.2021 12:54:21 Prozess SYSINFO starten
07.04.2021 12:54:21 EDOMI: Pause (kein Live-Projekt vorhanden)

[starwarsfan]

Hallo miteinander,

eben nochmals eine neue Version auf DockerHub gepushed, nachdem ich festgestellt habe, dass es für den Alexa-LBS ja noch ein paar mehr Sachen zu tun gibt, als nur ein weiteres Paket zu installieren. Also wer die Latest-Version verwendet, bitte updaten:

docker pull starwarsfan/edomi-docker:amd64-latest

Feedback wie immer gern gesehen!

[starwarsfan]

Hallo Gernot

also als erstes mal ein Riesenlob, möchte Docker und dieses Image nicht missen.
Echt super Arbeit!

Danke, freut mich zu hören.

Überschreibt das Backup nicht die LBS-Requirements wie den php-telegram-bot?

Ja und nein.

Wenn ein LBS Requirements auf weitere CentOS-Pakete hat, dann sind und bleiben diese installiert, da das Edomi-Backup sich ausschliesslich um den Edomi-Ordner und die Datenbank kümmert. Im Umkehrschluss hast Du hinsichtlich der PHP-Komponenten innerhalb der Edomi-Ordnerstruktur aber Recht, diese werden vom Backup überschrieben.

[murelli146]

Hallo Yves, starwarsfan

also als erstes mal ein Riesenlob, möchte Docker und dieses Image nicht missen.
Echt super Arbeit!

Möchte nur zum Verständnis die Vorinstallierten LBS-Requirements hinterfragen. (Ist mir beim Telegram-LBS aufgefallen)

Vorgehen:
Image mit frischen Volumes installieren und Backup einspielen.
Überschreibt das Backup nicht die LBS-Requirements wie den php-telegram-bot?
Wäre mir nicht aufgefallen wenn der bot nicht PHP 7.3 verlangt hätte. Jetzt bist du eh auf 7.4

SG Gernot

[starwarsfan]

Hi

hab eben festgestellt daß im Container für den AlexaControl LBS 19000809 noch das Paket oathtool nachinstalliert werden muss um die 2FA Authentifizierung hinzubekommen.

Ist enthalten und neue Version auf Dockerhub.

[tger977]

Hallo Yves,

hab eben festgestellt daß im Container für den AlexaControl LBS 19000809 noch das Paket oathtool nachinstalliert werden muss um die 2FA Authentifizierung hinzubekommen. Ggf. kannst Du das noch in den Container mit einbauen, ist aber für mich nice to have und ich kann das auch weiter manuell nach einem Containerupdate nachinstallieren.

[tger977]

Vielen Dank, Yves!!!

das neue Image ist großartig! Damit sind nun endlich die zahlreichen Fehlermeldungen des Telegram LBS weg, da nun die mysql.sock wieder da ist!

Und ein Projektaktivieren ist jetzt aus mir unerklärlichen Gründen rasend schnell... (von vorher ca. 5min jetzt auf ca. 2min reduziert!)

Einfach eine super Arbeit von Dir

[philipp900]

Danke Yves.
Ich konnte keine Probleme mit der neuesten Version feststellen.
Läuft direkt ohne weiteren Anpassungen.

[starwarsfan]

Hallo miteinander,

soeben habe ich starwarsfan/edomi-docker:amd64-latest auf DockerHub hochgeladen. Das ist ein Build mit den Korrekturen der zuletzt gemeldeten Fehler.

Changelog:

• Aktuelles CentOS 7 Image
• PHP 7.4
• Edomi 2.03
• LBS-Requirements für
  • Telegram-LBS (19000303 / 19000304)
  • Mailer-LBS (19000587)
  • Philips HUE Bridge (19000195)
  • MQTT Publish Server (19001051)
  • AlexaControl LBS (19000809)
• EOL bei /sbin/reboot, /sbin/shutdown und /sbin/service korrigiert

Achtung: Die Requirements für den MikroTik-LBS (19001059) sind nicht mehr enthalten, da diese aktuell das Image um über 1G aufblasen! Wenn sich das wieder normalisieren sollte, werde ich diese gern wieder mit reinnehmen.

Es wird nun bei jedem Start des Containers das Löschen der mysql.sock verhindert und auch die Fehlermeldung bzgl. /dev/vcsa sollte nicht mehr auftreten. Wenn es keine üblen Fehler gibt, wird das die Version amd64-2.03.

[starwarsfan]

Hi

Weißt du wodurch der enorme Unterschied in der Größe von 380MB auf 1,26GB im Vergleich zur letzten Version begründet ist?

Ui, gute Frage. Keine Ahnung, muss ich im Detail nachschauen...