[wiregate] Sensorwerte (rrd) über längeren Zeitraum aufzeichnen - wie geht das?

[DJens]

Hallo zusammen,

die Frage gab es bestimmt schon mal, aber ich finde einfach nichts. Wie kann ich einstellen, dass meine rrd Dateien einen längeren Zeitraum abspeichern bzw. wie kann man den Ringspeicher vergrößern? Ich habe in den Wiregate-Menus nichts gefunden und in welcher Datei ich das über WinSCP ändern könnte ist mir auch unklar. Ich hoffe mir kann jemand helfen. Ich möchte einen kontinuierlichen Mitschrieb über eine Woche auswerten und möchte weder jeden Tag rechtzeitig vor "Überlauf" des Ringspeichers eine csv Datei runterladen und das dann zusammenfriemeln noch das ganze über die "Sicherungen der Konfigurationsdateien und Sensordaten" mergen. Ich möchte einfach über die normale Wiregate Oberfläche die csv über eine komplette Wochen runterladen... Geht das?

Viele Grüße

DJens

[StefanW]

die Frage gab es bestimmt schon mal,

ja, sogar recht häufig in den letzten Jahren

Wie kann ich einstellen, dass meine rrd Dateien einen längeren Zeitraum abspeichern bzw. wie kann man den Ringspeicher vergrößern?

Ich fürchte, es gibt dafür keinen einfachen Weg.

Ein RRD ist hinsichtlich der Anzahl der Eintragungen in den einzelnen RRA zwar (in Grenzen) flexibel, aber diese Einstellung muss vorab erfolgen. Ein Tool zum Umrechnen und zu Umstellung im Live-Betrieb haben wir nicht.

Das gehört zu den wesentlichen Punkten, die wir beim Timberwolf Server - wegen der Wünsche der Kunden - anders gemacht haben und das auch sehr viel Entwicklungsaufwand gekostet hat.

Beim Timberwolf Server..

• ... wird ein Wert mit einer Auflösung von einer Millisekunde gespeichert.
• ... gibt es keinen globalen Zyklus. Jeder Sensor kann beliebig eingestellt werden, auch sekündlich
• ... gibt es damit auch keine Average-Werte, nur weil in einem Speicherzyklus mehr Werte kamen
• ... gibt es keine automatische Verdichtung, sondern dafür eine SSD bis 1 TB
• ... kann man alle gespeicherten Werte per SQL abfragen, z.B. mit Grafana
• ... ist alles ganz anders. Es wurde keine Codezeile übernommen, alles ist komplett von vorne neu aufgesetzt worden
• ... wurden alle alten Zöpfe abgeschnitten und die alten Technologien abgelegt. Das Ziel war "no limits"

Geht das?

Wenn Du Betatester für den Timberwolf Server werden willst, dann komm zum "1. Timberwolf Opossum" am 2./3. November, also in dieser Woche. Du kannst Dir dort alles ansehen und wenn Du möchtest, spontan Deinen Server auf dem Opossum bestellen. Sofern unser Vorrat reicht, kannst Deinen Server ine Stunde später mitnehmen, er wird dort für Dich gebaut (notfalls arbeiten wir bis Mitternacht). Zahlen kannst Du auf Rechnung.

Zustand der Software ist "Öffentliche Beta I", bedeutet uns selbst sind keine prinzipiellen Fehler mehr bekannt, aber es mag noch zu Fehlern kommen in anderen Konstellationen oder bei anderer Benutzung. Ein System gilt erst dann als Stabil wenn es sich als solches im Feld bewiesen hat. Und darum geht es jetzt.

Es gibt für diese Tester auch einen monströsen Rabatt, dafür ist Geduld und Mitarbeit angesagt. Dein obiges Problem wäre damit behoben. Geb Dir einen Ruck und komm.

Zugang zu näheren Infos und Preisen gibt es nach der Anmeldung (voraussichtlich heute oder morgen Nacht, wir schreiben noch dran).


lg

Stefan

[DJens]

@Stefan:
Vielen Dank für die Einladung und das damit verbundene Angebot. Mein zusammengestückeltes System bestehend aus Wiregate Server, Busmaster und TP UART ist gerade so alt, dass damals noch nichts vom Timberwolf Server bekannt war - d.h. 2 Jahre seit Bestellung. Das System ist seit ziemlich genau einem Jahr (Umzug in Neubau) produktiv im Einsatz, davor wurden einige kleinere Dinge damit getestet. Als ich irgendwann während meiner Testphase ein Device (heute "Timberwolf") im Shop entdeckt habe, welches die zusammengestückelte Komponenten in einem Hutschienengehäuse vereint, habe ich mir in den Allerwertesten gebissen. Aber da war es zu spät. Dennoch wäre der Timberwolf nicht rechtzeitig zum Einzug fertig geworden - insofern war mein Kaufzeitpunkt doch gar nicht so verkehrt, weil wesentliche Funktionen über das Wiregate gesteuert werden.
Was ich sagen möchte ist, dass die doch nicht ganz kostengünstige Anschaffung zu jung ist, um jetzt aufgrund einiger Besserungen nochmal Geld (dreistellig wird es vermutlich locker sein) in die Hand zu nehmen. D.h. wenn ich keine Lösung finde, die mit dem vorhandenen Equipment funktioniert, werde ich wohl händisch zusammenstückeln.

@all:
Umrechnung und Umstellung im Live-Betrieb bräuchte ich nicht. Mir würde es reichen, wenn ich es einmal umstelle, und ab dann mitschreibe. Wenn das bis dahin Angefallene weg ist, dann ist's halt weg... Kann mir dazu jemand Hilfestellung geben?

Viele Grüße

DJens

[StefanW]

Hallo Jens,

alles gut. Wenn ich nicht drauf hinweisen würde, hätte ich womöglich schlecht beraten.

Der ein oder andere Kunde hat nur wenig Freizeit und dem ist ein kurzer schneller Weg und ein schönes Gerät nebst toller Oberfläche auch etwas Wert. Für diese Kundenschicht ist der Timberwolf Server ausgelegt. Einfach zu bedienen und zu benutzen, weil der Programmierer es sich nicht leicht gemacht hat. Von den Systemen bei denen man selbst Hand anlegen und etwas programmieren muss gibt es genug, wir wollten die andere Nische ausfüllen. Das muss natürlich jeder für sich persönlich entscheiden was zu seinen Bedürfnissen passt.

(dreistellig wird es vermutlich locker sein)

Ja, ich fürchte schon, weil für 99.- EUR schaffen wir kein Upgrade in dieser Größenordnung. Die neue Entwicklung hat bis jetzt gut 1,5 Mio EUR gekostet. Und es handelt sich um einen kleinen Nischenmarkt mit überschaubaren Stückzahlen.

Mir würde es reichen, wenn ich es einmal umstelle, und ab dann mitschreibe. Wenn das bis dahin Angefallene weg ist, dann ist's halt weg... Kann mir dazu jemand Hilfestellung geben?

• Lese Dir die Dokumentation zum RRDtool genau durch, insbesondere was die Möglichkeit der Änderung der Paramter für die RRA betrifft.
• Es gibt irgendwo im System eine Stelle, die benutzt hinterlegte Default-Parameter bei jedem erneuten Anlegen eines RRDs. Diese muss man ändern
• Dann die RRD löschen. Diese solten dann - anhand er geänderten Parametern - angelegt werden.
• Es war mal was in der Oberfläche dafür vorgesehen, hat aber eben bei meinem Test nicht funktioniert

==> Ich frage gerne nächste Woche bei den Entwicklern nach, wo diese Stelle ist. Wenn Du also noch etwas Geduld hast, versuchen wir eine machbare Lösung zu finden.

lg

Stefan

[nipponichi]

Folgendes Script konvertiert bei mir die Daten der letzten 7 Tage in 5-Minuten-Auflösung aller rrd und speichert sie jeweils als Textfile in einem .tgz auf dem NAS:

#!/bin/bash
tstamp=$(date +%Y%m%d)
for i in /var/www/rrd/*.rrd
do
    j=`basename $i`
    /var/www/graph.pl "--start=-7d;--end=now;--maxrows=10000&DEF:ds0=$i:value:AVERAGE&XPORT:ds0" > /mnt/nas/wiregate/${j}_${tstamp}.txt
done
cd /mnt/nas/wiregate
filetime=$(date +%Y%m%d_%H%M%S)
tar -cvzf rrd_${filetime}.tgz *.txt
rm *.rrd_*.txt

NAS muß gemounted sein, das Script wird per cron zweimal die Woche aufgerufen, crontab:

...
0 10    * * 0    root    bash /var/www/rrd_conv.sh
0 18    * * 3    root    bash /var/www/rrd_conv.sh
...

Ist nicht perfekt, aber reicht mir, wenn ich die Daten mal brauche. Ich importiere die Daten dann in Libreoffice-Calc.

[DJens]

@ nipponichi:
Kannst Du mir noch mitteilen, wie das mounten bei Dir implementiert ist? fstab oder autofs? Kannst Du die entsprechenden Zeilen bei Dir herauskopieren und hier posten?
Ich habe bereits ein Bereich auf meinem NAS für die Sensordaten angelegt und per nfs für den Wiregateserver freigegeben. Habe es bereits über fstab versucht, aber sobald ich mounten möchte kommt: "Permission denied".

@ Stefan, hast Du mal bei den Entwicklern nachgehakt wegen der Details?

[Saargebeat]

Sorry fürs rauskramen, aber aus aktuellem Anlass wär das super wenn ich die Temps auch iwo exportiert bekomm.

Noch besser wäre, wenn ich das auch als Graph irgendwie irgendwo darstellen kann. Hat da jemand ne Lösung zu? Idealerweise mit optionalem Überlagern von ausgewählten Kurven.


PS: Da ich Linux-Noob bin, kann man das Vorgehen kurz erläutern? NAS ist vorhanden, aber nich gemountet. Konsolen-Zugang zum Wiregate noch nie ausprobiert.

[gbglace]

Tja das mit der Software und dem notwendigen Script um das wo rauszuschreiben, kann ich Dir auch net helfen.

Aber aus anderen Anlässen beschäftige ich mit gerade mit Grafana und Influx-DB als drunterliegendem Datenspeicher. Das was Du Dir da zur visuellen Darstellung vorstellst geht mit Gafana super einfach und recht individuell zu designen. Wenn Du deine Charts in Grafana nach Wunsch eingerichtet hast und das ganze ggf auf Deinem NAS und nicht auf dem PC installiert hast, dann kannst in deinem heimischen Netzwerk auch jederzeit Dir das per Link anzeigen lassen. Sollte man dann auch in eine echte Visu einbinden können.

Auf den neuen Timberwolf-Geräten gehört diese Kombination Datenspeicher / Auswertung auch immer dazu.

[StefanW]

Auf den neuen Timberwolf-Geräten gehört diese Kombination Datenspeicher / Auswertung auch immer dazu.

Richtig. Und man kann seine Daten vom WireGate Server übernehmnen lassen,

Wer also einen fertigen Weg sucht, um seine Daten auf dem WireGate Server künftig noch flexibler und dauerhaftiger zu speichern, kauft einen Timberwolf Server. Dann migriert er die Daten mit dem Export-Tool vom WireGate Server und ließt diese mit dem Import-Tool auf dem Timberwolf Server wieder ein. Dann hat man diese in der Influx und kann diese mit dem installierten Grafana auswerten. Also ganz einfach.

Timberwolf Server kann man ab morgen (Sonntag, den 18. März) bestellen. Zum Vorzugspreis auch direkt auf der Messe. Hallo 9.0 Stand D46.

lg

Stefan

[Edward]

Wie groß ist eigentlich der Ringspeicher der Sensorwerte? Ich habe gerade die Aufheizphase vom Estrich und überwache mit dem Wiregate schön die Werte vom Vorlauf, Rückläufe und Estrich. Diese Daten würde ich gerne für später sichern. Wie mache ich das am besten?
Muss ich von den Sensoren alle die csv Datei einzeln abspeichern oder geht das auch gesammelt?