Wiregate und BIG DATA

[nipponichi]

Das wird seit Jahren mittels Plugins (zahlreiche sind verfügbar) realisiert. Leider ist die Doku dazu bis heute recht bescheiden.
Das ist aber hier nicht Thema.

[Hups]

danke und sorry für off-topic. =)
Dachte der Beitrag passt, weils ja eigentlich das ist wofür man big data nutzen kann....

sg,
Hups

[makki]

Makki: Es geht hier um reale und häufige Kundenanforderungen, nicht darum ob Du das verstehst oder nicht.

Doch, es geht sehr wohl darum.
Und nicht um "Buzzwords" (anderwo aka "Bullshit-Bingo") wie "Big Data", was der TE selbst ja schon initial gesagt hat.
Denn "Big Data" kann das WG seit vielen Jahren, tausende Werte auf lange Zeit sehr effizient speichern.

a) RRDs: ja, das kann man konfigurieren im Webif, wenn die Default-Settings einem eben nicht passen. Man sollte vorher aber denken und lesen, sonst kommt nichts gutes bei raus..
a1) EIB/KNX logs kann man auch konfigurieren, allerdings nur via ssh/Konsole
Nur kann man die auch nur sinnvoll auswerten, wenn man GA&DPT "kennt".
b) den Export via Textfiles aufs NAS: naja, das ist halt die schlechteste Methode die mir einfällt.
Die Frage war ja auch: Auswertung. Ist im WG schon gegeben (graph2.pl), gibts als Text, CSV, XML: seit jeher.
Ok, von mir sehr schlecht dokumentiert.
Ebenso wie die Benutzung in Plugins zur Regelung (aber das ist hier nicht das Thema..)

Funktioniert aber beides, nicht "in Planung" oder "irgendwann" sondern seit immer.

Bei Verbrauchwerten - übrigens - spielt die mittelung keine Rolle, man sieht 15J später immernoch was an dem Tag passiert ist - und im Detail (Min,Mittel,Max) auch. Man sieht nur nicht (Default-Werte), ob der Hausmeister die Tür vorletztes Jahr um 8 oder um 23 Uhr aufgemacht hat..
Also steht bis 2024 ein fünfzeiliges Script aus, dann die Werte von 2009 zu sichern

Makki

[nipponichi]

b) den Export via Textfiles aufs NAS: naja, das ist halt die schlechteste Methode die mir einfällt.
Makki

Nein, die drittschlechteste. Noch schlechter ist, die Werte zu verlieren oder rrds zu sichern, da architekturabhängiges Binärformat.
Text kann ich sofort als csv in Tabellenkalkulation reinladen. Für viele Sachen reicht das. Ich brauche gar kein überdiemnsioniertes Datenbankmonster.

Bei Verbrauchwerten - übrigens - spielt die mittelung keine Rolle, man sieht 15J später immernoch was an dem Tag passiert ist - und im Detail (Min,Mittel,Max) auch.

Gegenbeispiel: Hat man die Werte in 5-Minuten-Auflösung kann man aus dem Gasverbrauch z.B. Verluste der WW-Zirkulation recht genau abschätzen.
Das geht mit gemittelten Werten niemals mehr.

[StefanW]

Makki,

wir verstehen hier alle, dass Du Deine Lösung von damals verteidigen möchtest und es auch für Dich weiterhin eine gute Lösung darstellt. Das ist okay, das haben wir verstanden und Du wurdest gehört. Es hat ja auch wunderbar funktioniert. Man muss aber auch sagen, dass viele der Einstellmöglichkeiten von den Kunden nicht verstanden wurden und daher gar nicht umgesetzt wurden.

Das bessere ist eben der Feind des Guten.

Es gibt eben auch Anforderungen die weit über das hinausgehen, was das bisherige WireGate leisten kann und das wir in der Entwicklung eines WireGate next Generation berücksichtigen werden. Auch um damit weitere Kundenschichten zu erschließen, die wir bislang nicht erreichen konnten. Und es ist auch keine kleine Minderheit wie manche meinen.

Manche der Anforderungen gehen über die eines EFH hinaus. Aus Gründen des Wettbewerbs und auch weil ich nicht befugt bin, Details aus der entsprechenden Arbeitsgruppe zu berichten, kann ich hier leider nicht deutlicher werden.

lg

Stefan

[NetFritz]

Hallo
Wer Zeitgenau seine Messwerte, Zustände und Meldungen speichern will, der soll sich mal eine Zeitreihendatenbank wie InfluxDB ansehen.
Gruß NetFritz

[makki]

Nein, die drittschlechteste. Noch schlechter ist, die Werte zu verlieren oder rrds zu sichern, da architekturabhängiges Binärformat.
Text kann ich sofort als csv in Tabellenkalkulation reinladen. Für viele Sachen reicht das. Ich brauche gar kein überdiemnsioniertes Datenbankmonster.

Naja, rrdtool ist jetzt nicht wirklich ein "Datenbankmonster". Klar wenn ist aber auch, da hast du recht, das Format ist (leider) architektur-abhängig.
Darum wird sich bei einem Upgrade aber eh gekümmert, sollte also nicht deine Sorge sein, sofern es nicht auf nem RPI-WG-Clone läuft..

Gegenbeispiel: Hat man die Werte in 5-Minuten-Auflösung kann man aus dem Gasverbrauch z.B. Verluste der WW-Zirkulation recht genau abschätzen.
Das geht mit gemittelten Werten niemals mehr.

Das wage ich stark zu bezweifeln, es geht nicht um das Prinzip der Sache, sondern um das falsche Verständniss: was glaubste wohl wie lange das dauert, bis der perfekt angebrachte Sensor an der Leitung da was misst? sicherlich 5min oder mehr!
Jetzt könnte ich dir sagen, wie man das Messintervall im WG auf 1 minute runterdreht, geht übrigens auch(!) - nur würde es an der Frage/Problemstellung rein garnichts ändern.
Was einige glaube ich verwechseln (für 99% funktioniert es..): ist der Wunsch nach einem Millisekunden-Messintervall und der Realität: das es physikalisch garnicht geht bzw. einfach nichts bringt.. So ein Kupferrohr. selbst mit Tauchhülse braucht ne Weile, bis es die Temp des Mediums annimmt. Da reden wir sicher nicht über Sekunden..
Der Marketing-Abteilung muss man das dann, für alle die es immernoch nicht verstehen wollen halt nochmal separat erklären/übersetzen.

Umgekehrt, beim Gas-Verbrauch hat man statische Werte, auch da kommt es nicht auf 5min Werte an, um Fehler zu erkennen. Weil selbst die Gastherme bestimmt nicht alle 5min "taktet".

Makki

[nipponichi]

Nö, viel einfacher. Die Therme heizt regelmäßig den Speicher auf. Mit Zirkulation tut sie dies häufiger. Man braucht nun für beide Fälle ausreichend viele Heizereignisse, die dafür benötigte Energie und den zeitlichen Abstand dazuwischen. Dies zu Zeiten, wo sonst kein Verbrauch vorliegt (nachts). Dafür braucht es eine möglichst gute zeitliche und meßtechnische Auflösung. (Die Auswertung geht nicht automatisch, aber man überblickt das in einer Tabelle ganz gut.)

Anderes Beispiel: Wegen baulicher Gegebenheiten hat mein Helligkeitssensor zu einer bestimmten Zeit eine starke Abweichung. Die würde ich mir gerne mal gemittelt (separat für Regentage wie Sonnentage) übers Jahr ansehen. Dafür sind 25 Minuten-Auflösung schon ungeeignet.

[makki]

Jetzt verstehe ich es nicht mehr: das geht doch beides? (RRD im Plugin mit beliebigen! Parametern anlegen) Einmal halt mit 60s-Auflösung und das andere eben mit mehr (Helligkeit, wo die mittelung dann natürlich sehr erwünscht ist): Die Kernfrage war doch "Auswertung": geht auch, einfach so, vor der L&B

Makki