Grafana und InfluxDB neben Edomi. Installation und Best Practice

[jonofe]

Hab ich hier einen groben Denkfehler

Du solltest einen Influx Container installieren, nicht einen Debian 11 Container und dann versuchen den als VM zu verwenden, um manuell Influx darein zu bringen..

Ich kenn mich mit Proxmox nicht aus, ggf. kann Proxmox nativ docker Container.

Ich habe bei mir in ESXi eine VM als Docker Host mit Debian. Darauf läuft docker und docker-compose.
Zur Verwaltung der Container verwende ich Portainer (auch als Container). Damit kann man problemlos einen Influx Container und einen Grafana Container installieren.

Schritte wären also:
- Docker Host als VM auf Basis von Debian aufsetzen
- In dieser VM docker + docker compose installieren
- Portatiner als Container aufsetzen
- Über das Portainer Webinterface

- Influx Container installieren
- Grafana Container installieren

[fudi6489]

Hab mich jetzt dank eurem Input dazu entschieden dies auf einem extra Server unabhängig von Edomi zu installieren.
Es handelt sich dabei um ein Debian 11. Falls jemand eine einfache Anleitung benötigt, bin ich hier fündig geworden:
https://computingforgeeks.com/how-to...-debian-linux/
https://computingforgeeks.com/how-to...-debian-linux/

Ich möchte InfluxDB und Grafana auf Proxmox in einem eigenen Container erstellen, und wollte hier nach obiger Anleitung vorgehen.
Dafür habe ich Debian11 geladen und danach den Container "influx" erstellt, und Debian11 als Template ausgewählt.

Der Container läuft und ich wechsle in die Konsole um die oben verlinkten Befehle einzutragen.
Beim Befehl "sudo apt update" erscheint die Fehlermeldung "-bash: sudo: command not found"

Wenn ich sudo nicht davorschreibe: "E: Malformed entry 1 in list file /etc/apt/sources.list.d/influxdb.list (Component)
E: The list of sources could not be read".

Hab ich hier einen groben Denkfehler, und ich muss ganz anders vorgehen, also eine andere Installationsweise wählen?
Oder muss ich den Umweg über VM/darin Docker installieren/ und dort die Container für Influx und Grafana erstellen?

Liebe Grüße

[Photontamer]

Ohje. Dann werd ich mir wohl einen alten RPI aus der Kiste holen und mal anfangen zu üben bevor ich direkt ans live System gehe. Ich hab es fast befürchtet das so eine Antwort kommt. Hatte aber gehofft das nicht.

Ich danke für die Antworten durchs nicht antworten.

[Eddii]

Moin,
das hätte ich auch vorgeschlagen...
Nach Möglichkeit alle Services einzeln virtualisierten.
Ob Proxmox, VMWare, Hyper-V und/oder Docker Container auf Alpine. Alles ist Möglich!
Denk aber bitte an das Backup und mach auf jeden Fall ein Recovery-Test, um dein Backupkonzept zu verifizieren!

Gruß
Eddii

[gibsonrocker]

Du siehst...keiner sagt was . Mach es nicht. Nimm eine extra Hardware oder eine VM (virtuelle Maschine) dafür her und mach dann Deine ersten Versuche mit ioBroker. Nicht auf EDOMI. Nicht unter centOS.

Es gibt unzählige Youtuber die Dir den Einstieg in ioBroker und die Installation erleichtern werden/können.

[Photontamer]

Hi,
Danke für den Verweis hierher.
Ich nutze edomi in der Standart Installation. Jetzt hAbe ich gesehen das iobroker interessante Module hat. Glotzkowski hat mir dann erzählt das ich über MQTT Daten tauschen kann. Nun würde ich gerne in iobroker Module nutzen die es bei edomi (noch) gibt. Für mich als nicht itler wäre es am besten wenn ich iobroker auf dem edomi system installieren könnte. Was sagt ihr?

[beauty]

Bräuchte mal eure Hilfe....
Hab den Influx LBS samt Paketen installiert und nun bekomme ich aber im Log folgende Meldung und in InfluxDB kommen keine Daten an.
Wie bekomme ich das nun zum laufen? InfluxDB läuft als Docker auf der Syno

2022-12-26 21:58:14 CET START
2022-12-26 21:58:14 CET 7 arguments: ["\/usr\/local\/edomi\/www\/data\/liveproject\/lbs\/EXE19002576.php","INSERT","10","PV Eigenverbrauch aktuell","961.2","2022-12-26 21:58:14","865001"]
2022-12-26 21:58:14 CET Data archive IDs to be sent to InfluxDB: "all"
2022-12-26 21:58:14 CET Local Time (Europe/Berlin): 2022-12-26 21:58:14, UTC Time: 2022-12-26T20:58:14.865001Z, Epoch: 1672088294, MuSec: 865001, Micro Epoch: 1672088294865001
2022-12-26 21:58:14 CET Writing data to InfluxDB ...
2022-12-26 21:58:14 CET INSERT : archiveName: PV Eigenverbrauch aktuell, archiveId: 10, value: 961.2, timestamp: 1672088294865001
2022-12-26 21:58:14 CET INSERT-EXCEPTION
2022-12-26 21:58:14 CET EXCEPTION Message: No PSR-18 clients found. Make sure to install a package providing "psr/http-client-implementation". Example: "php-http/guzzle7-adapter".
2022-12-26 21:58:14 CET END

Edit: Habs hinbekommen

composer require php-http/guzzle7-adapter

hatte gefehlt.
jonofe könntest du das auch derHilfe im LBS noch hinzufügen?

[stonie2oo4]

Also ich bin jetzt von dem Ansatz mit dem LBS teilweise abgerückt.
Das ganze hat weniger mit dem LBS zu tun sondern eher mit dem Befüllen der Datenarchive auf Edomi-Seite. Bei mir kamen schon paar hundert Datenarchive zusammen für alle Temperatur-, Taupunkt-, Luftfeuchte-Messwerte, usw. Sehr viel ausgemacht haben die Leistungswerte der Stromzähler, da sich der Wert doch recht häufig ändert. Hatte hier in kürzester Zeit tausende von Messpunkten.
Und das obwohl ich in Edomi nur eine Archivdauer von 5 Tagen eingestellt hatte.
Problem war das die CPU-Auslastung dauerhaft bei 70-100% war. Mit deaktivieren der Logik zum befüllen der Archive, so um die 30% oder weniger.
Ich muss dazu sagen das ich auch noch auf nem alten APU 1 unterwegs bin. Hatte auch schon Probleme mit den MQTT Server Bausteinen das sie den APU in die Knie gezwungen haben 😅.

Wie auch immer, bin zufällig heut über das KNX Plugin von Telegraf gestolpert. Hab mir das dann gleich mal eingerichtet und es sieht ganz gut aus. So spar ich mir den Umweg über edomi. Brauch dort ja die Archive auch nicht wirklich, nur später die Diagramme aus Grafana. Jetzt geht die Projektaktivierung auch wieder schneller 🙈. Auch die Einrichtung geht schneller da man die ganzen GAs einfach in einer config per editor reinschreibt.

Die Daten die ich aus Edomi erzeuge wie von den LBS für Heizung oder Lüftung, schreib ich weiterhin über den LBS von Andre weg. Funktioniert ja auch super.

Hab jetzt nur 2 extra buckets angelegt, eins wie gehabt für Edomi und ein neues für das KNX-Telegraf Plugin, da der Aufbau der „Tabellen“ halt komplett unterschiedlich ist. Sieht zwar eh keiner, aber rein zur besseren Übersicht.

[rdeckard]

Wer wie ich erst seine ersten Gehversuche mit InfluxDB 2.x unternimmt, empfindet die InfluxDB wohl bald mal als eine Art Backbox. Man hat zwar Daten importiert und kann auch Queries erstellen. Aber gerade wenn es sehr viele Daten sind, würde man gerne die Anzahl der Einträge auslesen können.

Hier ein Beispiel, wie ich das heute erfolgreich getestet habe:
grafik.png
Im InfluxDB Data Explorer erstellt man über den Button "SCRIPT EDITOR" das folgende Flux-Query:

from(bucket: "sensors_ever")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> count()
  |> yield(name: "count")​

Den bucket-Namen (hier "sensors_ever") muss man natürlich anpassen. Der Time Range (von/bis) wird von den beiden Buttons im GUI übernommen. Hier also möglichst ein Zeitrahmen definieren, der ALLE Daten umfasst.

Danach mit dem Button "SUBMIT" das Query ausführen. ("View Raw Data" aktivieren, damit man eine Tabellensicht erhält.)

In der Tabelle bekommt man nun alle seine "Measurements" (entspricht den Edomi Datenarchiven) aufgelistet. In der Spalte "_value" sind dann die Anzahl Einträge pro Measurement angegeben. (Eine Totalanzahl für den ganzen Bucket habe ich leider nicht rausgefunden.)

Diese _value Spalte einfach zusammenzählen oder das ganze in ein CSV exportieren und dann z.B. in Excel zusammenzählen. (Hängt natürlich davon ab, wieviele Measurements man hat.)

Wer das Total nur für ein (oder einige wenige) Measurements möchte, kann diese natürlich filtern. Das kann man bequem im "QUERY BUILDER" vorbereiten und dann im "SCRIPT EDITOR" weiter anpassen.

from(bucket: "sensors_ever")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "Temperatur Büro" or r["_measurement"] == "Bodenfeuchtigkeit Rasen")
  |> count()
  |> yield(name: "count")​

(Wer im QUERY BUILDER rechts bei AGGREGATE FUNCTION auf "CUSTOM" klickt und "mean" durch "count" ersetzt, kann sogar alles im GUI erstellen. Aber gerade wenn man ALLE Measurements möchte, ist der Weg über den SCRIPT EDITOR vermutlich schneller.)

[rdeckard]

Ich möchte hier noch meine (Test) Migration von 16 Mio. Edomi Datenarchiveinträge zu InfluxDB 2.6 verlinken, da meine Beobachtungen sicher gut zu diesem "Best Practice" Thread passen:
https://knx-user-forum.de/forum/proj...24#post1828624

[stonie2oo4]

Vielen Dank

[jonofe]

siehe HIER

[stonie2oo4]

Muss man eigentlich bei Grafana noch etwas einstellen, damit die erstellten Graphen in der Edomi-Visu angezeigt werden?
Wenn ich den Freigabe-Link in den Browser eingebe funktioniert es, wenn ich aber den Link in der edomi-Visu einbette und aufrufe kommt nur folgendes Bild:
grafana.jpg

[saegefisch]

Danke, André, für diese hilfreiche Einordnung; war mir nicht bekannt und freut mich zu lesen.

Ich bin gespannt, was dann wann hoffentlich mit podman kommt und dann auch für consumer... um damit wieder zurück zum Thema influxDB und garfana zu kommen...

[jonofe]

Bei RHEL8 gibt es keinen Support mehr für docker, nur noch für podman. Zumindest für die Enterprise Kunden ist das ein echtes Kriterium. Wir migrieren gerade komplett von docker auf podman. Im Consumer Bereich wird das vermutlich docker noch länger eingesetzt.

Die "doppelte" Virtualisierung ist ja eigentlich Standard, wenn man sich Kubernetes Services bei den Hyperscalern (AWS, Azure, GCP) anschaut. Von daher eigentlich schon state of the art. 😉