[wiregate] Erfahrungen Upgrade Wiregate auf Timberwolf?

[koend]

Hallo,

Stefans Mails wirken... ich erwäge die Anschaffung eines Timberwolfs um meinen Wiregate ins Reservelager zu verfrachten.

Allerdings kann ich den Migrationsaufwand nicht abschätzen und konnte im Forum auch nichts finden (Links sind willkommen).

Dass ein wenig Zeit für die Einrichtung nötig sein wird (z.B. Samba wieder aufsetzen, SSH Zertifikate etc.), ist logisch. Mir geht es um den Migrationsaufwand für die Plugins/Scripts, Logs und Sensordaten.

Funktionieren die bisherigen Perl-scripts immer noch? Ist das Kopieren von Logs und Sensordaten (rrds) wirklich ein bloßes Kopieren?

Gibt es schon eine Migrationsanleitung?

Vielen Dank für eure Erfahrungen und viele Grüße

Koen

[gbglace]

Hallo Koen,

Naja ich habe ein wiregate und schon einige Monate einen TWs bei mir zu Hause laufen.
Ich habe allerdings keine Plugins im wiregate genutzt (Ausser eine ZSU für die Weihnachtsbeleuchtung).

Sich einen TWS zuzulegen um darauf eine Kopie des wiregate laufen zu lassen macht aber aus meiner sicht keinen Sinn, sofern das wiregate bisher an keine Grenzen gestoßen ist gegenüber den Anforderungen.

Andererseits macht der TWs einiges direkt viel einfacher und besser als das wiregate.
Gerade alles was derzeit auf RRD's läuft macht der TWS out of the box viel besser in den Timeseries. Die grafische Darstellung geht auf dem TWS Frontend oder in noch hübscher und individueller via Grafana. Die in Grafana erzeugten Charts lassen sich auch extern via URL im Browser anzeigen.
Für einen Umzug gibt es an der Stelle verständlicher Weise keinen Knopf zum Klicken und paar Minuten Später ist es fertig. Der Aufwand zur Charterstellung ist vom kreativen Anspruch zur Umstzung in Grafana abhängig. Bedienung ist aber recht einfach.

Die bisher gespeicherten Datenpunkte in eine TWSDatenbank zu überführen ist sicher ein interessanter zu betrachtender Punkt. Da ich die bisherige Historie meiner wiregate-Daten so nicht benötige habe ich mich damit aber nicht beschäftigt.

Bei den Plugins gibt es die Möglichkeit diese in einem Docker Container laufen zu lassen, das ist dann quasi eine wiregate Umgebung im TWS.
Aber auch hier wäre wohl eher mein Ziel die Logiken aus den Plug-Ins in die Logikengine des TWs zu überführen, dies ist dann aber auch ein manueller Schritt der unterschiedlich Zeit brauchen wird.

Plugins die externe Systeme anbinden sind in der mittleren Zukunft sicher auch noch gut in einem Docker-Container aufgehoben bis z.B. die weiteren Bussysteme direkt im TWS verarbeitet werden können. Ob es aber ggf. besseres als die bisherigen Perl-Plugins gibt wäre auch wieder Aufwand den jeder selbst betreiben muss.

Erfahrungen werden derzeit unter den Beta-Testern gesammelt und mit jedem Upgrade der TWS-Software kann auch der Testcope erweitert werden. Im Betatest sind auch einige User dabei, die recht umfangreiche und komplexe Daten und Logikstrukturen auf dem wiregate laufen haben und auch in Richtung TWs migrieren werden.

Grüße
Göran

[StefanW]

Danke Göran,

ich erlaube mir noch ein wenig zu ergänzen zum Thema "Migration" vom Wiregate, weil wir da alleine ein Mannjahr Arbeit reingesteckt haben.


Hallo Koen,

Stefans Mails wirken... ich erwäge die Anschaffung eines Timberwolfs um meinen Wiregate ins Reservelager zu verfrachten.

Yeah, freut mich, dass Dir unser neues Produkt auch gefällt.

Gleichmal vorweg: Der Timberwolf Server ist die Neuentwicklung des Wiregate Servers. Wir haben aus den damaligen Fehlern / Limitationen (die auch dem geschuldet war, dass das Budget nur ein 100stel war) des WG gelernt.

Hauptkritikpunkte am WireGate waren (und sind):

• Kein Rücksetzen auf Werkszustand durch den Nutzer, man musste es einschicken. Bäääh
• Nur eine Ausführung mit einer Flash-Größe. Kein WLAN-Option, obwohl Platz drin wäre
• Hässliches Gehäuse
• Keine Möglichkeit für ein komplettes Betriebssystem-Update. Es ist seither das selbe alte OS drauf wie vor 10 Jahren. Nicht wirklich safe.
• Keine Logik, schon gar nicht einfach bedienbar. Nur sehr fortgeschrittene Kunden konnten in PERL Plugins schreiben, das war was für vielleicht 3 bis 5% aller Kunden nutzbar.
• Die RRD sind praktisch aber auch nicht einfach flexibel einstellbar. Feste fünf-Minuten-Intervalle kann man bei Temperaturen verwenden, aber nicht bei IOs.
• Insgesamt zuwenig Info & Anzeigen, wenn etwas nicht funktioniert. Die Fehlersuche war für den Benutzer schwierig.
• Alle Sensoren werden im gleichen Takt abgefragt. Keine Flexibilität.
• Für die diversen Funktionen konnte man nur eine GA eintragen. Einen Temperaturwert an mehrere GA zu senden, ging nicht (nur über Plugin)
• Aufzeichnung von KNX-Objekten / GA in RRD war nicht mit Bordmitteln möglich, sondern nur wieder über Plugins.
• Das Log des KNX-Bus war als Zip halbwegs unzugänglich. Man musste es erst herunterladen und dann mit irgendwas auswerten. Unpraktisch und auf zwei Wochen limitiert.
• Kein Reverse-Proxy um andere Webressurcen nach außen durchschalten zu können
• Keine TLS (früher als SSL bezeichnet) Verschlüsselung
• Überhaupt ist die ganze Platte nicht verschlüsselt, obwohl man die Daten durchaus als private Daten bezeichnen könnte.
• Mit dem Root-Zugang hat sich mancher sein System auch zerschossen
• Hauptkritikpunkt war, dass es viel zuwenig Upgrades gab. Im Prinzip wurde der WireGate Server nie erweitert. Es blieb bei dem, was er von Anfang an können sollte bzw. was in den ersten beiden Jahren hinzukam wie Plugin (nur dass alle Fehler beseitigt wurden). Denn die Ausrichtung war eine ganz andere, es war ein Server von der Community für die Community. Nur dass die Community nie über ein paar Plugins und schwer installierbare Exe (DMX) usw. hinausgekommen ist.

Mit dem Timberwolf Server haben wir das alles adressiert und deutlich verbessert. Und in Zukunft wird noch eine heftige Entwicklung dazu kommen und der Server damit zu einem extrem leistungsfähigen und dabei super einfach zu bedienendem Server werden. Ich zähle das nicht alles auf jetzt, weil es gibt ja einen Katalog mit 250 Seiten, in denen alles erklärt wird (und der übrigens alle zwei Wochen um ein paar Seiten ergänzt und stets aktualisiert wird).

Allerdings kann ich den Migrationsaufwand nicht abschätzen und konnte im Forum auch nichts finden (Links sind willkommen). Ist das Kopieren von Logs und Sensordaten (rrds) wirklich ein bloßes Kopieren? Gibt es schon eine Migrationsanleitung?

Dafür haben wir drei Tools entwickelt, welche die Migration von Wiregate auf Timberwolf ermöglichen:

1. WireGate Export. Stick anstecken und im Wiregate Server auf Export gehen. Es werden alle Einstellungen und RRD auf den Stick geschrieben

2. Timberwolf Importer (ETS App): Es gibt (demnächst) eine ETS App welche die Daten aus dem Stick liest und alle Objekte und die Verbindung mit GAs anlegt. Anschließend den Timberwolf Server aus der ETS programmieren. Damit sind alle Objekte da.

3. Nun Mit dem Timberwolf verbinden und dort auf "Wiregate Import" gehen. Es wird alles gecheckt und die Einstellungen werden geladen und transferiert. Dabei werden die vormals in RRD gespreicherten Daten in Zeitserien geschrieben.

Danach steckt man die 1-Wire Sensoren um und diese werden nun nach dem erkennen mit den gespeichertetn Konfigurationsdaten aus dem Wiregate geladen und mit den Obejekten verknüpft.

Das war es dann auch schon.

Dass ein wenig Zeit für die Einrichtung nötig sein wird (z.B. Samba wieder aufsetzen, SSH Zertifikate etc.), ist logisch.

Du solltest wissen, dass es auf den Timberwolf Server keinen Root-Zugang gibt. Der ist viel zu komplex dafür. Aber Du kannst Dich mit Docker austoben.

Funktionieren die bisherigen Perl-scripts immer noch?

Ja, dafür gibt es einen Docker-Container in dem das läuft. Auch für die Comet-Visu.

Mittelfristig wird man die Sachen mit der Timberwolf Logik Engine ablösen.



lg

Stefan

[koend]

Hallo Göran und Stefan,

vielen Dank für eure ausführlichen Antworten. Klinkt schon sehr überzeugend, aber viele Details triggern wieder Detailfragen.

[*]Keine Logik, schon gar nicht einfach bedienbar. Nur sehr fortgeschrittene Kunden konnten in PERL Plugins schreiben, das war was für vielleicht 3 bis 5% aller Kunden nutzbar.
(...)

(alte Scripts)
Ja, dafür gibt es einen Docker-Container in dem das läuft. Auch für die Comet-Visu.

Mittelfristig wird man die Sachen mit der Timberwolf Logik Engine ablösen.

In meinen Scripts stecken einige Mannmonate Entwicklungszeit, die Migration zur TLE wird sich also einige Zeit hinziehen. Also gut dass eine Emulationsumgebung zur Verfügung steht.

Hand aufs Herz (und zugespitzt formuliert): Funktionieren alle Scripts genauso wie bisher? Oder ist mit gewissen Einschränkungen zu rechnen? Gibt es hierzu konkrete Erfahrungen?

Funktioniert der Zugriff auf die cometvisu noch?
siehe: https://knx-user-forum.de/forum/supportforen/wiregate/1081241-url-rest-interface-f%C3%BCr-wiregate

Oder gibt es bereits eine eingebaute Alternative (um via GET eine GA mit einem bestimmten Wert zu triggern)?

[*]Die RRD sind praktisch aber auch nicht einfach flexibel einstellbar. Feste fünf-Minuten-Intervalle kann man bei Temperaturen verwenden, aber nicht bei IOs.
(...)
Du solltest wissen, dass es auf den Timberwolf Server keinen Root-Zugang gibt. Der ist viel zu komplex dafür. Aber Du kannst Dich mit Docker austoben.

Deswegen habe ich auch selbst RRDs angelegt so wie ich es für den jeweiligen Zweck für sinnvoll halte.

Die kann ich also in die Docker-Umgebung migrieren, OK.

Wie schaut's aus in der "echten" Timberwolf-Umgebung? Kann ich da auch "customized" RRDs erstellen und benutzen?

*]Das Log des KNX-Bus war als Zip halbwegs unzugänglich. Man musste es erst herunterladen und dann mit irgendwas auswerten. Unpraktisch und auf zwei Wochen limitiert.

Mit ssh und grep geht das wunderbar...

Dafür haben wir drei Tools entwickelt, welche die Migration von Wiregate auf Timberwolf ermöglichen:
(...)

Klinkt sehr gut für die 95-97% nicht Scripts/etc.-Benutzer
Gibt es auch schon Anleitungen wie man seinen bestehenden Wiregate in die Docker-Umgebung migrieren kann? Oder ist es so einfach wie scripts und rrds kopieren?

Du solltest wissen, dass es auf den Timberwolf Server keinen Root-Zugang gibt. Der ist viel zu komplex dafür. Aber Du kannst Dich mit Docker austoben.

Double check: in dem Docker kann ich auch einen Samba-Server aufsetzen um direkt auf das Script-Verzeichnis zugreifen zu könnnen (build in Eclipse)?


Dann noch einige zusammenfassende Fragen/Thesen:

- Timberwolf mit Wiregate Docker: ist eigentlich ein luxoriöses Hardware-Upgrade mit besserer Software im Hintergrund. Erst der Wechsel auf die Logic Engine ermöglicht den vollen Nutzen aller Möglichkeiten?

Diese zwei sprengen wohl den Rahmen dieses Threads (soll ich einen separaten Thread öffnen?)
- Timberwolf Logic Engine: Ist Entwicklung auch außerhalb des Webinterfaces möglich, z.B. in Eclipse? (z.B. für Versionmanagement, einfacheres Editieren)

- Wie vergleicht sich der Timberwolf (incl. zukünftiger Ideen) mit OpenHab, iobroker etc.? Klar, Timberwolf ist eine HW-Platform, bringt aber auch viel (?) eigene Software mit.


Vielen Dank für alle Hilfe und Zeit!

Viele Grüße

Koen

[Chris M.]

Hand aufs Herz (und zugespitzt formuliert): Funktionieren alle Scripts genauso wie bisher? Oder ist mit gewissen Einschränkungen zu rechnen? Gibt es hierzu konkrete Erfahrungen?

Noch sind die Plugins nicht im Beta-Test angekommen, daher gibts auch noch keine Erfahrungen. Für mich ist das auch der Punkt ab dem ich mich an einem aktiven Migrieren versuchen werde. Noch spiele ich nur bisschen damit rum und habe noch alles (inkl. die CometVisu Entwicklung) auf dem WireGate laufen.

Funktioniert der Zugriff auf die cometvisu noch?

Wenn die CometVisu auf dem Timberwolf läuft wird das wieder genau so gehen (bzw. ich wüsste nicht, was da dagegen sprechen könnte).
Noch gibt es aber weder einen durch ElabNet noch eine durch uns CometVisu bereitgestellte CometVisu auf dem Timberwolf.

Mittelfristig habe ich aber vor, dass wir seitens CometVisu auch immer ein aktuelles Docker-Image der CometVisu bereitstellen werden. Dazu ist es aber noch bisschen zu früh (die Freigabe der Docker-Einbindung ist ja erst frisch)

- Timberwolf mit Wiregate Docker: ist eigentlich ein luxoriöses Hardware-Upgrade mit besserer Software im Hintergrund. Erst der Wechsel auf die Logic Engine ermöglicht den vollen Nutzen aller Möglichkeiten?

Das WireGate hatte die KNX Pakete per Perl-API. Der Timberwolf hat nun "Objekte", was eine Abstraktion über die KNX Pakete ist, da es auch 1-Wire "Pakete, und vermutlich auch DMX, DALI, ... sein kann.
Ob die Perl-API um diese Objekte erweitert werden wird oder weiterhin nur die KNX Pakete anbietet weiß ich nicht -> ElabNet fragen.

Ich *vermute* aber, dass die vollen Möglichkeiten erst in der eigenen Logik vorhanden sein werden - die WireGate Plugins aber eben trotzdem weiterlaufen werden. Das wäre zumindest ein weicher Migrationspfad

[Robert_Mini]

Hallo!

Man kann in jedem Fall für Spezialanwendungen, die sich nicht per Logik umsetzen lassen, über den Umweg eines KNX Telegrammes auch Objektewerte in die Plugins holen.

Ehrlicherweise hoffe ich aber, dass die Plugin-Umgebung doch um die Objekte erweitert wird. Aber erst den Logikeditor und den Plugin-Docker abwarten.

Ich bin auch ein WG Power-User mit >60 Plugins, CometVisu und vielen RRD, denke wir werden uns zum Thema Migration noch öfter austauschen.

lg
Robert

[koend]

Chris M. Robert_Mini Vielen Dank für die realistischen Antworten, to be continued...