How-To für Datenspeicherung in Influxdb

[Thorsten1970]

Hallo zusammen,
aktuell schreibe ich meine Stromwerte und Wasserwerte in Influxdb - nach dreißig Tagen werden diese gelöscht.

Wie sieht eure Strategie hierzu aus? Stromwerte:
- Bucket Strom: Durchschnitt Tag, Durchschnitt Woche, Durchschnitt Monat und Jahr? Oder welche sinnvolle Buckets habt ihr so angelegt?

Wie sieht die Strategie für andere Werte aus? Wasser, Temperaturen, etc.?

Freue mich auf euren Input und Best Practises.

Grüße
Thorsten

[Amokd0c]

Ich schreibe
Strom Spannung Leistung
PV Werte
Ein Balkendiagramm Netzbezug Einspeisung.
Heizung Vorlauf Raumtemperaturen Außentemperatur Stellgrößen Warmwassertemperatur
Luftfeuchte der Räume, aber nicht alle.
Ortsdosisleistung
Regenmenge Wetterdaten Luxwerte
CO2 einzelner Räume

in die dB und stelle diese mit Grafana dar.

Ich bin da letztes Jahr auf influxdb Studio gestoßen. Damit lassen sich ganz einfach die Einträge löschen, Zweck der Übersicht. Muss man nicht zwingend über die CLI machen.

Strategie verfolge ich da keine. Visualisieren, und den Verlauf mal ins Verhältnis zu anderen Werten setzen.
Ich hab dadurch schon schneller „Probleme“ entdecken können.

Grüße.

[Hubertus81]

Wie sieht eure Strategie hierzu aus? Stromwerte:
- Bucket Strom: Durchschnitt Tag, Durchschnitt Woche, Durchschnitt Monat und Jahr? Oder welche sinnvolle Buckets habt ihr so angelegt?

ich persönlich habe erstmal pro Quelle ein Bucket, KNX, evcc, HomeAssistant usw.
später ist geplant die wichtigsten Werte dann in Buckets fürs dauerhafte speichern zu verschieben. HomeAssistant und evcc schreiben zB ALLES ins Bucket, da ist vieles drin was man nicht benötigt, zumindest nich dauerhaft wie absolute Dimmwerte von Lampen beispielsweise.

Grundsätzlich ist meine herangehensweise von den Sachen die ich interessant finde auch die "Raw" Werte zu behalten, dauerhaft, irgendwelche Fehler in der Datenverarbeitung führen sonst ggf dazu dass du dann nur noch die falschen Werte hast und die "Raw" Werte sind längst gelöscht...
Performance ist bei mir bislang kein Problem, Speichergröße ebenfalls nicht.

Daher mein Tipp erstmal pro Quelle ein eigenes Bucket zu nehmen wo die Werte zumindest temporär erstmal drin laden. Ich finde das einfach übersichtlicher...

Wenn du später aus verschiedenen Quellen Werte in ein Bucket schreiben willst kannst du über die Tasks in InfluxDB auch einfach noch ein tag an die Daten machen sodass du auch später immer noch weißt was woher kam...

Gewisse Werte landen bei mir auch doppelt in influxdb zB KNX Telegramme direkt über die Telegraf Schnittstelle und dann auch nochmal über die Einbindung in HomeAssistant. Selbst wenn eine Verbindung dann mal ausfallen sollte kann man noch auf die Ersatzwerte zugreifen und so die Lücke ein seinen Daten wieder schließen... Die Telegraf Schnittstelle hatte zB mal das Problem dass sie Anfangs kein Reconnect unterstützt hat. Nach einem Firmwareupdate des Switch und Unterbrechung der Verbindung hat Telegraf sie nicht wiederhergestellt und mir fiel das erst 2 Tage später raus. Zum Glück kamen die selben Werte aber auch nochmal über Home Assistant rein...

Nutze Proxmox für das ganze Zeug auf einem miniPC.

Wenn man mehrere InfluxDB Instanzen hat kann man die Daten auch von der einen in die andere rüberschieben als Art Backup...

zB könnte ein RPi direkt an dem IP Interface hängen im Verteilerkasten und maximal 14Tage die Daten speichern und du lässt sie jede Stunde rüberschieben auf deine InfluxDB Instanz die auf deinem NAS läuft wo die Daten schonmal auf einem Mirror gegen Festplattenausfall geschützt sind und du auch das NAS mal neustarten kannst ohne dass du Lücken hast bei deinen Daten weil der RPI mit Influxdb drauf einfach dauerhaft durchläuft...

[Thorsten1970]

Vielen Dank für euren Input. Was man alles speichern kann und will, ist ja einigermaßen klar. Die Frage ist ja eher das wie. Ein Bucket pro Wert und ohne Verfalldatum oder mit Verfalldatum und Daten dann aggregiert in das nächste Bucket (Tageswerte) ohne Verfallsdatum. Danach Wochenbucket, etc.. Das dann für alle erfassten Daten. Wie sieht da eine vernünftige Strategie aus, so dass der Speicherbedarf nicht ausartet.

[Hubertus81]

Wie gesagt ich persönlich mache das nicht mit aggregieren und dann Speichern und so weiter.

Ist der Speicherbedarf denn arg begrenzt? Denn dieser kostet heute kaum was. Ich würde behaupten dass ich sehr viel speichere und es sind nach über einem Jahr vielleicht 1-2GB wenn ich schätzen müsste. Und die kosten halt nix. Also aus dem Aspekt ist die Frage ob das Sinn ergibt. Es kommt drauf an was du genau anzeigen willst. Wenn du jede Minute einen Wert hast und willst dir dann etwas visualisieren wobei jeder Messwert gelesen werden muss ist das nicht praktikabel weil dauert lange. Wenn du von diesen zig Tausend Messwerten aber immer nur den Wert am letzten Tag des Monats brauchst geht das widerum sehr fix selbst wenn das Measurement sehr sehr viele Datenpunkte hat weil die dann alle übersprungen werden...

Also eine Durchschnittstemperatur des Jahres zu erreichnen wenn du jede Minute einen Messwert hast das wird Zeit kosten.

Bei Zählerwerten sehe ich da keinen Performancegewinn durch das aggregieren weil die meisten Werte nur bei Bedarf gelesen werden müssen..

[Thorsten1970]

Moin, vielen Dank für euren Input.

Ich habe habe noch ein Problem bzw. Verständnisfrage.

Ich habe Buckets für Strom, Wasser, Stromzähler, etc. angelegt. Für alle Buckets, welche Daten über MQTT beziehen eine Telegraf-Konfiguration angelegt. Jede einzelne funktioniert beim Start von Telegraf mit dem passenden Token. Lege ich nun eine neue Telegraf-Konfiguration an, dann wird nur noch die neue berücksichtigt und die bereits angelegten nicht mehr. Aktuell habe ich für jede Konfig einen eigenen Token. Ist das korrekt, oder muss hier immer der gleiche Token der letzten angelegten Konfiguration drinstehen?

Aus der Doku von InfluxDB und Telegraf werde ich nicht so richtig schlau...

Wäre klasse, wenn ihr meinen Horizont erweitert und Licht ins Dunkle bringt ;-)

[Hubertus81]

Musst mal in Erfahrung bringen ob Telegraf es überhaupt erlaubt in unterschiedliche Buckets zu schreiben. Und vielleicht mal die config posten die du angelegt hast.

musst sie ohnehin unter systemd verschieben damit es beim start auch immer mit geladen wird. Schon etwas her dass ich mich damit beschäftigt habe.