ETS ETS? Nein Danke!

[KNXBench]

UPDATE

Verhaltensregeln in diesem Topic:

- die App ist misst, weil...
- die App ist nicht seriös oder der Text Drumherum
- Andere Apps sind viel besser
- AI / KI ist misst

All das darf draußen bleiben!

Nett und höflich. Wer nichts Nettes zu sagen hat darf dies gerne außerhalb dieses Topics machen.


Hallo zusammen,
ich wollte meine KNX-Anlage unter Linux bearbeiten und analysieren. Die vernünftige Lösung wäre eine Windows-VM gewesen. Ich habe stattdessen eine eigene Anwendung gebaut. Man braucht ja ein Hobby. Und 300+ Stunden Entwicklungszeit. Ach ja, und 22.489.302.886 Tokens, Tendenz steigend. (Die kompletten Stats liegen im Repo. Dort steht auch, wie viele Ameisen damit ein eigenes Kontextfenster bekämen.)

Das Ergebnis heißt KNXBench: eine unabhängige KNX-Engineering-Anwendung mit moderner Oberfläche.

Was steckt drin?

• Kostenlos und Open Source: unter AGPL-3.0. Das Budget bleibt für den nächsten Aktor, den man „unbedingt noch braucht“.

• ETS-Projektimport: .knxproj-Dateien importieren (jetzt auch ETS 5.7) und Geräte, Topologie, Gruppenadressen und Verknüpfungen erkunden. Nicht unterstützte Inhalte stehen im Importbericht, und der bleibt jetzt auch nach dem Speichern erhalten.

• Projektbearbeitung mit Undo/Redo: Topologie, Gebäude und Räume, Geräte, Adressen, Verknüpfungen, DPTs, Flags und Parameter. Weil „Ups“ auch in der Gebäudeautomation zum Wortschatz gehört.

• Assistenten: Ein neues Projekt mit Bereichen, Linien, Räumen und Gruppenstruktur in einem Rutsch anlegen. Beim Hinzufügen eines Geräts zeigt eine Vorschau den Namen und die Adresse, bevor etwas angelegt wird.

• Gruppenadressen auf vier Arten: Baum, Spaltenbrowser, Adress-Atlas und Verknüpfungsmatrix. Für jede Art von Ordnung (und Unordnung) die passende Ansicht.

• Produktdatenbank: .knxprod-Herstellerpakete installieren. Im Testlauf mit 853 öffentlichen Herstellerdownloads ließen sich 852 installieren. Katalog-Updates gibt es mit Generalprobe (Vorschau) und Backup.

• Live-Visualisierung des Bussystems: Gateway-Suche, Tunneling, Gruppenmonitor und eine grafische Flow-Ansicht. Endlich sehen, wer mit wem redet und wer nicht aufhören kann. Gruppenwerte senden geht auch, wenn man es ernst meint.

• Gerätedownload (experimentell): nur für ausgewählte, unterstützte Applikationen und nur nach ausdrücklicher Bestätigung. Für alles andere bleibt die ETS vorerst im Werkzeugkoffer.

• Papierkram automatisch: Gruppenadressen als CSV exportieren und importieren, HTML-Projektdokumentation mit Druckvorschau, Vergleich zweier Projekte und Notizen an Geräten, Gruppenadressen und Co.

• Native Linux-App oder Docker: als AppImage direkt auf dem Desktop oder selbst gehostet im Browser (Docker Hub), dazu eine Kommandozeile für die Skript-Fraktion. Keine Windows-VM als pflegebedürftiges Haustier nötig.
• Tastatur zuerst, Maus willkommen: Command Palette, Suche mit Strg+K, Drag & Drop.

• Achievements im Steam-Stil: 38 optionale Erfolge. Wenn man schon Stunden mit Gruppenadressen verbringt, darf wenigstens das Belohnungszentrum etwas davon haben.

• Themes: hell, dunkel, Cupertino, LCARS für Raumschiffkapitäne und ein phosphorgrüner CRT-Look. Warum? Warum nicht. Der Bus hat keine Meinung zu eurem Geschmack.

• Mehrsprachig: Deutsch und Englisch, dazu Boarisch und Klingonisch für die Mutigen. Ja, wirklich. Bleibt noch COBOL. Da klären wir noch, ob das als Übersetzung oder als Rückschritt gilt.

• AI Ready: eigener MCP-Server samt Skills. Euer KI-Agent darf schauen, aber nicht anfassen: Er liest nur, ohne Buszugriff. Gruppenadressen kann er nur umbenennen, wenn man das ausdrücklich freischaltet, und auch dann nur mit Vorschau und Bestätigung.

Wichtig: KNXBench ist noch Alpha-Software und kein vollständig kompatibler ETS-Ersatz. Bitte mit Projektkopien arbeiten und Backups behalten. Mut ist gut, ein Backup ist besser. Wer von einer älteren Alpha aktualisiert: Alpha 10 nutzt ein neues Dateiformat (Schema 14), das ältere Versionen nicht mehr öffnen können. Also vorher sichern!

Feedback, Ideen, Übersetzungen und Erfahrungsberichte sind herzlich willkommen, auch von Windows-Nutzern. Wir sitzen schließlich alle im selben BUS und nicht im Betriebssystem-Glaubenskrieg.

Übrigens: jetzt mit Hall of Fame für alle freiwilligen Tester / Issue Reporter!
Schaut hier:

https://github.com/KNXBench-Labs/KNX...s-hall-of-fame

Die ersten Bug-Reports aus der Community sind übrigens schon eingeflossen. Danke dafür!

Und wo gibt es das? Na hier: https://knxbench.com

GitHub: https://github.com/KNXBench-Labs/KNXBench

Downloads (AppImage): https://github.com/KNXBench-Labs/KNXBench/releases

Docker: https://hub.docker.com/r/knxbench/knxbench-server

Für alle mit Familie oder Partnern: Sorry, dass ihr jetzt ein neues Hobby habt. Der Visualizer ist aber auch echt hypnotisierend …

Gruß,
Andre

[henfri]

Hallo Andre,

vielen Dank fürs Teilen!
FYI der Smiley im Titel führt dazu dass der Thread von der Hauptseite aus nicht zu öffnen ist.
Was noch wichtig wäre: Ein Export einer KNXProj so dass man keinen Lock-In hat.

Gruß,
Hendrik

[KNXBench]

Gerne!

Das hatte ich vor, aber der Aktuellste KNX Specification Standard ist leider nicht aktuell frei verfügbar und schon kompliziert genug.

Aber warum sollte man auch wieder zu etwas wechseln wollen was Geld kostet? 😉 Der Lock-In ist ja schon da - mit OpenSource hat weniger 💁🏼♂️

Und für die zwei Mal im Jahr wo eine Privatperson mal einen Schalter Umprogrammieren muss, reicht es ja.

Was nicht heißt das es nicht auch komplexer geht.

Also, One Way ist Absicht - außer es gibt sehr gute Gründe dafür...

VG

[henfri]

Also für mich ist es ein sehr guter Grund dass ich bei Haus-Infrastruktur nicht auf eine noch sehr junge OSS setzen kann/werde.

Ich hab noch nicht ganz verstanden, wie das Fehlen des KNX-Sec Std. das Exportieren aber nicht das Importieren verhindert (ehrliche Frage)

[KNXBench]

Also für mich ist es ein sehr guter Grund dass ich bei Haus-Infrastruktur nicht auf eine noch sehr junge OSS setzen kann/werde.

Ich hab noch nicht ganz verstanden, wie das Fehlen des KNX-Sec Std. das Exportieren aber nicht das Importieren verhindert (ehrliche Frage)

Das war mein Tippfehler - Specification sollte es heißen - habe diesen Korrigiert.

Zusätzlich müsste ich alle ETS-Versionen haben, die es gibt - die habe ich nicht (Ab und Aufwärtskompatibilität) usw. muss dann irgendwie gewährleistet sein. Und ich weiß auch nicht, ob es da Copyright Themen gibt.

Das schöne ist - du musst nicht - du kannst bei ETS bleiben. Aber falls du mitbestimmen willst wie die Zukunft aussehen wird, kannst du deinen Enkeln erzählen das du early Adaptor warst! :-)

[Noschvie]

Gratuliere zu deinem Projekt, es macht neugierig… und schon mal danke fürs Teilen!
Gibt es einen gesicherten „Read only“ Modus vom Bus? Wie hoch ist die Test Coverage des Projekts?

[KNXBench]

Gratuliere zu deinem Projekt, es macht neugierig… und schon mal danke fürs Teilen!
Gibt es einen gesicherten „Read only“ Modus vom Bus? Wie hoch ist die Test Coverage des Projekts?

Danke und Gerne! Je mehr es getestet wird, desto besser wird es - hoffe ich :-)

Ja gibt es - es ist alles was aktuell nicht verifiziert ist Read Only. Es gibt extra einen Schalter in den Settings "Debug" der "Uploads" auf Geräte Freischaltet.

Das Gesamte Projekt wird bei jeder Quellcode Änderung durch jede Menge Quality Gates gequält. In der Story gibt es dazu ein paar Zahlen.

Hier eine "Zusammenfassung" ;-)

KNXBench hat eine umfangreiche automatisierte Testsuite: Im letzten dokumentierten vollständigen Prüflauf wurden 6.311 Tests der Hauptanwendung erfolgreich ausgeführt. Besonders breit geprüft werden Datenmodell, Import, Datenbanken, API und Oberfläche.

Eine belastbare prozentuale Code-Coverage ist dagegen derzeit nicht ausgewiesen. Viele Tests sind gut – sie sagen aber nicht automatisch, welcher Anteil aller Codezeilen oder Entscheidungszweige tatsächlich ausgeführt wird.

Für diese Zusammenfassung habe ich Quellcode und Prüfprotokolle untersucht, keinen neuen vollständigen Testlauf gestartet

1. Wie viele Tests gibt es?

Rust: Domain-Core, Importer, Datenbanken, Dienste, Netzwerk, CLI, Server usw.	3.721 bestanden, 0 fehlgeschlagen
Frontend: Vitest für React-Komponenten und UI-Logik	2.415 bestanden, verteilt auf 149 Dateien
Browser: Playwright mit Chromium	175 bestanden
Summe erfolgreich ausgeführter Haupttests	6.311
Zusätzlich im Rust-Lauf deaktiviert beziehungsweise ignored	182

Damit umfasst dieser Prüflauf 6.493 Testfälle einschließlich der 182 nicht ausgeführten Tests. „Ignored“ bedeutet nicht „fehlgeschlagen“, aber auch nicht „bestanden“: Darunter sind Tests mit zusätzlichen Voraussetzungen, etwa privaten Referenzdateien oder echter Hardware.

Daneben existieren separate Tests für Website, Projektgeschichte und Werkzeuge – beispielsweise dokumentierte 20 Website-, 67 Story- und 38 Dokumentations-/Tooling-Tests. Diese sind nicht vollständig in obiger Summe enthalten. Wiederholte, gezielte Prüfläufe habe ich nicht als zusätzliche Tests gezählt.

Quelle: docs/IMPLEMENTATION_STATUS.md:123–130 im veröffentlichten Stand.

2. Was prüfen diese Tests?

KNX-Domain-Core	Individuelle und Gruppenadressen, DPT-Verarbeitung, Wertebereiche, Topologie, Kommunikationsobjekte, Parameter und Herkunft von Werten
Projekt- und Produktimport	XML-/ZIP-Verarbeitung, Formatgrenzen, unbekannte Daten, Warnungen, doppelte IDs, ungültige Referenzen und beschädigte Eingaben
Datenintegrität und Speicherung	Speichern/Wiederöffnen, Datenbankmigrationen, Transaktionen und Vermeidung halb geschriebener Daten bei Fehlern
Herstellerdaten	Produkt-/Applikationszuordnung, Parameterauflösung, dynamische Sichtbarkeit, Übersetzungen und Download-Images
Anwendung, API und CLI	Befehle, Validierung, Fehlerantworten, Authentifizierung, Import-/Exportabläufe und Sicherheitsfreigaben
Oberfläche	Projekt-/Geräteassistenten, Tabellen, Inspector, Parameteransichten, Suche, Tastaturbedienung, Themes und Fehlermeldungen
KNX-Kommunikation	Telegramm-Codecs, Verbindungszustände, Bestätigungen, Wiederholungen, Timeouts und simulierte Gerätefehler

Es gibt außerdem Referenzdatei- und Vergleichstests gegen unabhängige Erwartungen. Bei fehlerhaften Herstellerdateien wird beispielsweise geprüft, dass der Import keine teilweise gefüllte Datenbank zurücklässt.

Wichtig: Roundtrip-Tests betreffen unter anderem native Speicherung und CSV. Sie belegen keinen ETS-Projekt-Export-Roundtrip – einen .knxproj-Exporter gibt es nicht.

3. Was ist mit Zugriffen auf echte Geräte?

Normale Testläufe


Die dedizierten Hardwaretests laufen nicht beim normalen Testaufruf mit. Ich habe aktuell neun Live-Testfunktionen in sieben Dateien.

Sie betreffen:

• Gateway-Erkennung und Telegrammempfang;
• Senden eines Gruppentelegramms;
• Geräteidentifikation und lesende Management-Abfragen;
• Suche nach Geräten im Programmiermodus;
• Auslesen von Gerätespeicher;
• Schreiben einer individuellen Adresse;
• Applikationsdownload mit anschließendem Speichervergleich.

Die Live-Tests benötigen zusätzliche Angaben wie Gateway und Zieladresse; der Downloadtest verlangt außerdem eine gerätebezogene Bestätigung. Ein pauschaler Lauf aller ignorierten Tests wäre deshalb keine harmlose Coverage-Messung. Ein Gruppentelegramm kann reale Aktoren betätigen, ein Download die Gerätekonfiguration verändern. WICHTIG! Simulation ist nicht Hardware-Nachweis


Viele Kommunikations- und Downloadtests benutzen einen Gerätesimulator oder lokale Test-Gegenstellen. Der Simulator kann gezielt schweigen, Verbindungen abbrechen oder Schreibvorgänge nicht übernehmen.

Das prüft das Verhalten des Clients – nicht automatisch das Verhalten eines realen Herstellergeräts. Auch die 175 Chromium-Tests verwenden abgefangene API-Antworten: Sie sind echte Browserprüfungen, aber keine durchgehenden Browser→Server→KNX-Gerät-Tests.

Was wurde tatsächlich an Hardware nachgewiesen?

Lesender Gerätetest	34 Ziele geprüft: 33 Geräte-Descriptor-Antworten, eine ausdrückliche Verbindungsablehnung
Adressprogrammierung	Adresse des Testgeräts tatsächlich geändert und unabhängig bestätigt; der abschließende Verfahrensschritt meldete jedoch einen Fehler
Download, Parameter-Teildownload und Backup/Restore	Auf einem MDT-Taster BE-TA55P2.01, Maske 0701h, mit byteweisem Rücklesen dokumentiert

Beim MDT-Gerät wurden vollständiger Download sowie Parameter-Teildownload und Wiederherstellung geprüft. Der abschließende Restart ist ausdrücklich als nicht bestätigt dokumentiert – nicht als stillschweigend erfolgreich.

Diese Ergebnisse sind kein allgemeiner Kompatibilitätsnachweis für andere Hersteller, Masken oder Applikationen. Ein offline erzeugbarer Downloadplan ist noch kein hardwareverifizierter Download. Öffentliche Adress-Schreibwege sind derzeit zudem wegen fehlender gerätespezifischer Recovery-Voraussetzungen gesperrt.

Hardwarebelege: docs/research/knxnet-ip-and-bus.md:2409–2413 und docs/research/commissioning.md:110–158.

Bewertung

Die automatisierte Absicherung ist breit; die reale Gerätevalidierung ist deutlich enger. Die wichtigsten offenen Nachweise sind:

• gemessene Zeilen- und Branch-Coverage;
• eine breitere Hardwarematrix über Hersteller, Geräte und Masken;
• reale Stromausfall-/Abbruch- und Recovery-Prüfungen;
• umfassende native WebKitGTK- und Screenreader-Prüfungen.

Kurz gesagt: Viele gute Prüfnetze für die Software – aber noch kein Freifahrtschein für jedes Gerät im Schaltschrank.

Daher bietet KNXBench übrigens das einfach Teilen von Daten - Soweit du es bereit bist zu teilen, per Mail oder per Github Issue.
Das ermöglicht mir nach und nach weitere Geräte fürs Schreiben/Downloaden freizugeben.

Das ist jetzt doch etwas länger geworden ;-) Nicht einschlafen beim Lesen! Lieber Testen! :-)

[concept]

One Way ist Absicht - außer es gibt sehr gute Gründe dafür...

Ich würde niemals ein Haus kaufen, wozu es kein ETS Projekt gibt. Oder na ja, um 100k runterhandeln...

[tstalzer]

Beeindruckend

Eine Frage - Ich habe mir die Videos angesehen - Wo werden die Parameter/Einstellungen von einem Gerät bearbeitet?

[KNXBench]

Beeindruckend

Eine Frage - Ich habe mir die Videos angesehen - Wo werden die Parameter/Einstellungen von einem Gerät bearbeitet?

Hey, vielen Dank! Die Videos werden noch mal überarbeitet. Schau mal hier in die Doku:

https://github.com/KNXBench-Labs/KNX...e-device-panel

Dort wird das ausführlich erklärt.

Kurz: Wenn du auf ein Gerät klickst, scrolle im Mittleren Fenster ganz nach unten - da taucht es auf. Ich abreite schon an einer anderen Idee, das ist so noch nicht ganz rund.

VG

[KNXBench]

Ich würde niemals ein Haus kaufen, wozu es kein ETS Projekt gibt. Oder na ja, um 100k runterhandeln...

Gute Einstellung ;-)

[IPv6]

Ich denke es wäre langsam mal Zeit für einen Sammelthread für die ganzen mit KI gebauten ETS Alternativen. Wird schwer, da sonst den Überblick zu behalten. Vielleicht finden dann die eifrigen Entwickler auch eher zueinander statt das jeder was Neues anfängt. Die Hintergedanken und Ziele sind schließlich immer die selben.

Wer will?

[Varone3000]

Ich würde niemals ein Haus kaufen, wozu es kein ETS Projekt gibt. Oder na ja, um 100k runterhandeln...

Hö, warum das?

das würde ja bedeuten das du (quasi) nie ein Haus kaufst mit KNX ;-)

Ich hab jetzt in meiner jungen Karriere ungefähr 10 Häuser mit KNX gesehen. Davon hat bei 5 die Projektdatei vollständig gefehlt.
2 waren Grütze. Und 3 waren okay. Es ist davon auszugehen das die anderen 5 wo sie gefehlt hat, es aber auch Grütze ist, den da gibt es fehlfunktionen wegen fehlender Parametrierung.

Die Dunkelziffer ist also vermutlich noch höher.

Aber 100k 😅, gib es doch zu, du willst die KNX Komponenten dann direkt mit austauschen 😅

[KNXBench]

Ich denke es wäre langsam mal Zeit für einen Sammelthread für die ganzen mit KI gebauten ETS Alternativen. Wird schwer, da sonst den Überblick zu behalten. Vielleicht finden dann die eifrigen Entwickler auch eher zueinander statt das jeder was Neues anfängt. Die Hintergedanken und Ziele sind schließlich immer die selben.

Wer will?

Ja absolut. Ich habe tatsächlich nicht hier im Forum gesucht bevor ich das Projekt gestartet habe. Tatsächlich habe ich mich auf die KI Suche verlassen und die hat die hier bereits Vorgestellten - durchaus sehr ähnliche und beeindruckenden Projekte nicht gesehen. Man lernt halt nie aus :-)

Aber jetzt bin ich zu weit um das Ad Acta zu legen *gg*

[cocoon]

Ohne etwas getestet zu haben, gefällt mir eine Sache, Appimage!