Grafana und InfluxDB neben Edomi. Installation und Best Practice

[jonofe]

Wo gibt es denn einen Proxmox Docker Container?

[beauty]

Hatte ich vor längerem mal bei DockerHub gesehen

[jonofe]

Diese Kombi macht wenig Sinn, sofern es überhaupt technisch geht. Proxmox ist eigentlich ein Type-1 Hypervisor. Den sollte man Bare-Metal installieren. Darauf dann eine VM als Docker Host und darauf dann die docker container. Nested virtualization mit Synology VMM, darauf Proxmox, darauf docker würde ich vermeiden. Auf ner synology kannst du natürlich auch docker machen. Für mich ist ein NAS aber ein Storage und kein Virtualisierungsserver.

Vieles deutet übrigens daraufhin, dass docker in naher Zukunft von podman abgelöst wird.

Ich nutze ESXi als Type-1 Hypervisor, darauf eine Debian VM als Docker Host. Läuft super stabil.

[Eddii]

Ich nutze ESXi als Type-1 Hypervisor, darauf eine Debian VM als Docker Host. Läuft super stabil.

So läuft bei uns auch Edomi als VM auf ESXi und eine separate Linux VM für Docker...
Bisher und seit mehreren Jahren keine Probleme!

Gruß
Eddii

[saegefisch]

Vieles deutet übrigens daraufhin, dass docker in naher Zukunft von podman abgelöst wird.

Seit Jahren "in naher Zukunft"...irgendwie kommt die Community nicht in die Puschen und verharrt bei Docker. Trotz der objektiven Vorteile (zB kein root) - aber halt abseits der Verbreitung...die weiterhin für Docker spricht. Ist ein wenig wie MP3 und JPG... trotz besserer Alternativen wollen sie einfach nicht sterben oder zumindest die Alternativen Verbreitung finden...

Ich nutze ESXi als Type-1 Hypervisor, darauf eine Debian VM als Docker Host. Läuft super stabil.

Ach fein, dann bin ich ja nicht allein mit "doppelter Virtualisierung" - ich dachte damals, als ich es baute, dass wäre irgendwie "schräg", aber halt für mich dennoch passend. Offenbar für andere auch...

[jonofe]

Bei RHEL8 gibt es keinen Support mehr für docker, nur noch für podman. Zumindest für die Enterprise Kunden ist das ein echtes Kriterium. Wir migrieren gerade komplett von docker auf podman. Im Consumer Bereich wird das vermutlich docker noch länger eingesetzt.

Die "doppelte" Virtualisierung ist ja eigentlich Standard, wenn man sich Kubernetes Services bei den Hyperscalern (AWS, Azure, GCP) anschaut. Von daher eigentlich schon state of the art. 😉

[saegefisch]

Danke, André, für diese hilfreiche Einordnung; war mir nicht bekannt und freut mich zu lesen.

Ich bin gespannt, was dann wann hoffentlich mit podman kommt und dann auch für consumer... um damit wieder zurück zum Thema influxDB und garfana zu kommen...

[stonie2oo4]

Muss man eigentlich bei Grafana noch etwas einstellen, damit die erstellten Graphen in der Edomi-Visu angezeigt werden?
Wenn ich den Freigabe-Link in den Browser eingebe funktioniert es, wenn ich aber den Link in der edomi-Visu einbette und aufrufe kommt nur folgendes Bild:
grafana.jpg

[jonofe]

siehe HIER

[stonie2oo4]

Vielen Dank

[rdeckard]

Ich möchte hier noch meine (Test) Migration von 16 Mio. Edomi Datenarchiveinträge zu InfluxDB 2.6 verlinken, da meine Beobachtungen sicher gut zu diesem "Best Practice" Thread passen:
https://knx-user-forum.de/forum/proj...24#post1828624

[rdeckard]

Wer wie ich erst seine ersten Gehversuche mit InfluxDB 2.x unternimmt, empfindet die InfluxDB wohl bald mal als eine Art Backbox. Man hat zwar Daten importiert und kann auch Queries erstellen. Aber gerade wenn es sehr viele Daten sind, würde man gerne die Anzahl der Einträge auslesen können.

Hier ein Beispiel, wie ich das heute erfolgreich getestet habe:
grafik.png
Im InfluxDB Data Explorer erstellt man über den Button "SCRIPT EDITOR" das folgende Flux-Query:

from(bucket: "sensors_ever")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> count()
  |> yield(name: "count")​

Den bucket-Namen (hier "sensors_ever") muss man natürlich anpassen. Der Time Range (von/bis) wird von den beiden Buttons im GUI übernommen. Hier also möglichst ein Zeitrahmen definieren, der ALLE Daten umfasst.

Danach mit dem Button "SUBMIT" das Query ausführen. ("View Raw Data" aktivieren, damit man eine Tabellensicht erhält.)

In der Tabelle bekommt man nun alle seine "Measurements" (entspricht den Edomi Datenarchiven) aufgelistet. In der Spalte "_value" sind dann die Anzahl Einträge pro Measurement angegeben. (Eine Totalanzahl für den ganzen Bucket habe ich leider nicht rausgefunden.)

Diese _value Spalte einfach zusammenzählen oder das ganze in ein CSV exportieren und dann z.B. in Excel zusammenzählen. (Hängt natürlich davon ab, wieviele Measurements man hat.)

Wer das Total nur für ein (oder einige wenige) Measurements möchte, kann diese natürlich filtern. Das kann man bequem im "QUERY BUILDER" vorbereiten und dann im "SCRIPT EDITOR" weiter anpassen.

from(bucket: "sensors_ever")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "Temperatur Büro" or r["_measurement"] == "Bodenfeuchtigkeit Rasen")
  |> count()
  |> yield(name: "count")​

(Wer im QUERY BUILDER rechts bei AGGREGATE FUNCTION auf "CUSTOM" klickt und "mean" durch "count" ersetzt, kann sogar alles im GUI erstellen. Aber gerade wenn man ALLE Measurements möchte, ist der Weg über den SCRIPT EDITOR vermutlich schneller.)

[stonie2oo4]

Also ich bin jetzt von dem Ansatz mit dem LBS teilweise abgerückt.
Das ganze hat weniger mit dem LBS zu tun sondern eher mit dem Befüllen der Datenarchive auf Edomi-Seite. Bei mir kamen schon paar hundert Datenarchive zusammen für alle Temperatur-, Taupunkt-, Luftfeuchte-Messwerte, usw. Sehr viel ausgemacht haben die Leistungswerte der Stromzähler, da sich der Wert doch recht häufig ändert. Hatte hier in kürzester Zeit tausende von Messpunkten.
Und das obwohl ich in Edomi nur eine Archivdauer von 5 Tagen eingestellt hatte.
Problem war das die CPU-Auslastung dauerhaft bei 70-100% war. Mit deaktivieren der Logik zum befüllen der Archive, so um die 30% oder weniger.
Ich muss dazu sagen das ich auch noch auf nem alten APU 1 unterwegs bin. Hatte auch schon Probleme mit den MQTT Server Bausteinen das sie den APU in die Knie gezwungen haben 😅.

Wie auch immer, bin zufällig heut über das KNX Plugin von Telegraf gestolpert. Hab mir das dann gleich mal eingerichtet und es sieht ganz gut aus. So spar ich mir den Umweg über edomi. Brauch dort ja die Archive auch nicht wirklich, nur später die Diagramme aus Grafana. Jetzt geht die Projektaktivierung auch wieder schneller 🙈. Auch die Einrichtung geht schneller da man die ganzen GAs einfach in einer config per editor reinschreibt.

Die Daten die ich aus Edomi erzeuge wie von den LBS für Heizung oder Lüftung, schreib ich weiterhin über den LBS von Andre weg. Funktioniert ja auch super.

Hab jetzt nur 2 extra buckets angelegt, eins wie gehabt für Edomi und ein neues für das KNX-Telegraf Plugin, da der Aufbau der „Tabellen“ halt komplett unterschiedlich ist. Sieht zwar eh keiner, aber rein zur besseren Übersicht.

[beauty]

Bräuchte mal eure Hilfe....
Hab den Influx LBS samt Paketen installiert und nun bekomme ich aber im Log folgende Meldung und in InfluxDB kommen keine Daten an.
Wie bekomme ich das nun zum laufen? InfluxDB läuft als Docker auf der Syno

2022-12-26 21:58:14 CET START
2022-12-26 21:58:14 CET 7 arguments: ["\/usr\/local\/edomi\/www\/data\/liveproject\/lbs\/EXE19002576.php","INSERT","10","PV Eigenverbrauch aktuell","961.2","2022-12-26 21:58:14","865001"]
2022-12-26 21:58:14 CET Data archive IDs to be sent to InfluxDB: "all"
2022-12-26 21:58:14 CET Local Time (Europe/Berlin): 2022-12-26 21:58:14, UTC Time: 2022-12-26T20:58:14.865001Z, Epoch: 1672088294, MuSec: 865001, Micro Epoch: 1672088294865001
2022-12-26 21:58:14 CET Writing data to InfluxDB ...
2022-12-26 21:58:14 CET INSERT : archiveName: PV Eigenverbrauch aktuell, archiveId: 10, value: 961.2, timestamp: 1672088294865001
2022-12-26 21:58:14 CET INSERT-EXCEPTION
2022-12-26 21:58:14 CET EXCEPTION Message: No PSR-18 clients found. Make sure to install a package providing "psr/http-client-implementation". Example: "php-http/guzzle7-adapter".
2022-12-26 21:58:14 CET END

Edit: Habs hinbekommen

composer require php-http/guzzle7-adapter

hatte gefehlt.
jonofe könntest du das auch derHilfe im LBS noch hinzufügen?

[Photontamer]

Hi,
Danke für den Verweis hierher.
Ich nutze edomi in der Standart Installation. Jetzt hAbe ich gesehen das iobroker interessante Module hat. Glotzkowski hat mir dann erzählt das ich über MQTT Daten tauschen kann. Nun würde ich gerne in iobroker Module nutzen die es bei edomi (noch) gibt. Für mich als nicht itler wäre es am besten wenn ich iobroker auf dem edomi system installieren könnte. Was sagt ihr?