ETS Rekonstruktions-Hilfen - KNX Product Search Database

[Peterich]

So, ich habe mal etwas Neues gebaut. 😊

Im Thread
https://knx-user-forum.de/forum/öffentlicher-bereich/knx-eib-forum/2051135-rekonstruktions-hilfen-–-öffentliches-repo
hatte ich meine Sammlung an KNX-Applikationsprogrammen bisher über Nextcloud bereitgestellt. Das hat zwar funktioniert, war bei der inzwischen recht großen Datenmenge aber ziemlich unübersichtlich.

Deshalb gibt es jetzt eine webbasierte Suchoberfläche:

https://reko.x3muha.de

Als Orientierung habe ich den Produktfinder der IT GmbH verwendet. Auch die exportierbare XML-Datei ist mit dem Produktfinder und der ETS-App „Rekonstruktion“ kompatibel.

Aktuell umfasst die Datenbank:

• 11.385 Produktdateien
• 19.446 verschiedene Applikationsprogramme

Gesucht werden kann unter anderem nach Hersteller, Hersteller-ID, Applikationsnummer, Version, Maskenversion, Produktname, Bestellnummer oder Dateiname. Mehrere Suchfilter lassen sich miteinander kombinieren, zum Beispiel:

Hersteller:0008
Programm:901F
Version:20
Mask:07B0
Name
Datei
Bestellnummer:5WG1

Passende Dateien und Applikationsprogramme können anschließend direkt heruntergeladen werden. Mehrere Dateien, die dasselbe Applikationsprogramm enthalten, werden automatisch zusammengefasst dargestellt.

Unterstützt werden unter anderem:

.vd1 bis .vd5, .vdx, .knxprod, .knxproj und .pr*

Wer noch alte oder seltene Produktdatenbanken besitzt, darf diese gerne hochladen. Der Upload erkennt Hersteller und enthaltene Applikationsprogramme automatisch, sortiert die Dateien passend ein und übernimmt sie anschließend in den Suchindex. Auch ZIP-, 7z- und RAR-Archive können verarbeitet werden. Bereits vorhandene Dateien werden als Duplikate erkannt.

Sobald ich wieder etwas Zeit finde, werde ich das Projekt auch auf GitHub veröffentlichen. Dann kann es sich jeder, der möchte, selbst installieren und hosten.
Der Benutzername lautet knxuf. Das Passwort ist wie gehabt der Name des Forums inklusive .de, aber ohne www..
Falls euch Fehler auffallen oder Funktionen fehlen, könnt ihr mir gerne Bescheid geben.

image.png

[Peterich]

Kleines oder doch eher riesiges Update …

Inzwischen bin ich bei 15.771 Dateien und 26.514 Applikationsprogrammen angekommen.

Die Applikationsprogramme beziehungsweise die dazugehörigen KNXPROD-, VD1- bis VDX-Dateien lassen sich jetzt direkt öffnen. Dort kann man sich ansehen, welche Funktionen und Kommunikationsobjekte die jeweilige Applikation besitzt. Ich dachte, dass das bei der Suche oder Rekonstruktion manchmal ganz nützlich sein könnte.

image.png

Dazu einfach im Bereich „Dateien“ in der Spalte „Datei“ auf „Im Viewer öffnen“ klicken. Anschließend erscheint diese wunderschöne Ansicht:
image.png
Außerdem habe ich eine Querverlinkung zwischen den Applikationsprogrammen und den zugehörigen ETS-Apps eingebaut. Im Bereich „Applikationsprogramme“ gibt es nun eine Spalte „ETS-App“. Darüber gelangt man direkt zu den jeweils passenden Apps.
image.png
Diese Funktion habe ich für das Forum allerdings noch nicht freigeschaltet, da ich nicht genau weiß, wie die rechtliche Situation beim Verteilen der ETS-Apps aussieht. Theoretisch funktionieren die Apps zwar ohnehin nicht ohne gültige Lizenz, aber ob ich sie deshalb einfach bereitstellen darf, ist eine andere Frage.
image.png
Zusätzlich sind einige kleinere optische Anpassungen und Korrekturen bei der Duplikaterkennung eingeflossen.

Eine kleine, anonyme Statistik gibt es jetzt ebenfalls. Dabei werden keine IP-Adressen oder sonstigen persönlichen Daten gespeichert, sondern lediglich Seitenaufrufe nach angemeldetem beziehungsweise anonymem Benutzer sowie die Anzahl hoch- und heruntergeladener Dateien erfasst.

Neu ist außerdem eine erweiterte Suche, bei der die einzelnen Suchfelder direkt mit UND oder ODER miteinander verknüpft werden können.
image.png

[willisurf]

15.771 Dateien und 26.514 Applikationsprogrammen

Wow!

[Peterich]

Update, Update, Update … es hat sich einiges getan!

44.697 Dateien
13.954 Applikationsprogramme
24 GB Datenbestand
image.png
Mehr Dateien, aber weniger Applikationsprogramme als beim letzten Stand? Klingt erst mal komisch, hat aber einen guten Grund: Die Erkennung wurde überarbeitet. Dasselbe Programm steckt häufig in verschiedenen Formaten – etwa VD2, VD4 und knxprod – und wurde vorher teilweise mehrfach gezählt. Die Zahlen sind jetzt bereinigt. Weniger gezählte Programme heißt also nicht, dass Daten verschwunden sind.

In den letzten drei Monaten ist außerdem aus der reinen Sammlung ein bisschen mehr geworden:


Alte Produktdaten wieder nutzbar machen

Viele große Hersteller-Sammeldatenbanken habe ich in einzelne Produktdateien aufgeteilt. So muss man nicht mehr eine komplette Datenbank importieren, wenn man eigentlich nur ein bestimmtes Applikationsprogramm sucht.

Dazu kommt die Konvertierung alter Produktdaten in knxprod-Dateien für aktuelle ETS-Versionen. Einige Ergebnisse habe ich selbst mit ETS6 getestet – die ließen sich problemlos importieren.

Trotzdem: Gerade bei sehr alten oder beschädigten Daten kann noch etwas schiefgehen. Ich habe schon einige Sonderfälle gefunden und behoben, aber bei der Menge kann ich nicht jede Datei und jedes Gerät selbst prüfen. Rückmeldungen sind deshalb ausdrücklich willkommen!
Applikationsprogramme direkt im Browser ansehen

Der Produktdatenviewer ist schneller geworden und hat einen an ETS3 angelehnten Look bekommen.

Damit lassen sich die hinterlegten Parameter und Optionen eines Applikationsprogramms direkt im Browser durchsehen ohne die Datei dafür erst in die ETS zu importieren. Gerade bei älteren Geräten finde ich das praktisch: Man kann vorher schauen, ob die gesuchte Funktion überhaupt vorhanden ist.

image.png
Handbücher und passende Plugins direkt beim Gerät

Bei den Applikationsprogrammen kommen nach und nach passende Zusatzdateien dazu:

technische Handbücher und Bedienungsanleitungen,
Datenblätter,
benötigte Plugins und Herstellertools.

Zum Beispiel die alten Gira-SmartSensor-Plugins oder Werkzeuge wie Busch-Jaeger Power-Tool. Soweit vorhanden und zugeordnet, findet ihr die Dateien direkt beim passenden Eintrag.

Das ist noch im Aufbau. Einige Zuordnungen entstehen mit KI-Unterstützung und sind nicht alle praktisch am Gerät geprüft. Wenn etwas fehlt oder nicht passt, sagt bitte Bescheid. Wer passende Unterlagen hat, darf natürlich gerne mithelfen.


Der Konverter ist jetzt live

Ihr könnt Produktdateien, ETS-Projekte und alte Produktdatenbanken hochladen und daraus knxprod-Dateien zum Herunterladen erstellen lassen.

Unterstützt werden unter anderem VD-Dateien, knxproj, ältere Projektformate sowie ETS1- und ETS2-Produktdatenbanken. Auch Archive mit solchen Dateien können verarbeitet werden. Der Fortschritt und das Ergebnis werden direkt auf der Seite angezeigt.
image.png
Die erzeugten Produktdaten werden für den ETS-Import registriert beziehungsweise signiert. Das ist keine KNX-Zertifizierung und ersetzt auch keinen Funktionstest am Gerät.
Wichtig bei Projektdateien: Was passiert mit euren Daten?

In die gemeinsame Sammlung kommen die extrahierten Produktdaten und Applikationsprogramme – nicht eure ETS-Projektbereiche mit Gebäudeaufbau, Gruppenadressen oder Gerätezuordnungen. Die Quelldatei muss der Server für die Extraktion natürlich lesen.

Ihr könnt euer Projekt vorher zusätzlich mit einem ETS-Projektpasswort schützen. Bei Exporten, in denen die Produktdaten separat zugänglich bleiben, können diese trotzdem ohne das Projektpasswort extrahiert werden. Die verschlüsselten Projektbereiche werden dabei übersprungen. Das gilt nicht für zusätzlich passwortgeschützte ZIP-Archive.

Bitte verwendet trotzdem keine privaten Angaben in Dateinamen oder Produktdaten: Der Quellname kann beispielsweise im Namen der erzeugten Datei oder im Bericht auftauchen.

Im Konverter werden die hochgeladenen Quellen und Arbeitsdateien nach dem regulären Verarbeitungslauf entfernt. Ergebnisse, Berichte und Verlauf bleiben befristet verfügbar. Beim normalen Upload können Projektquellen zusätzlich vorübergehend im Upload-Papierkorb liegen. Das Projekt selbst wird nicht als Projekt zum Download angeboten.


Upload oder Konverter?

Upload: Ihr möchtet etwas zur Sammlung beitragen. Ein gemeinsamer Upload nimmt die unterstützten Dateien entgegen, erkennt den Inhalt und sortiert die Daten ein. Projekte und alte Datenbanken werden bei Bedarf automatisch konvertiert.

Konverter: Ihr möchtet gezielt eine Datei umwandeln und das Ergebnis direkt herunterladen.

Bei beiden Wegen ergänzen bislang fehlende Applikationsprogramme automatisch den gemeinsamen Bestand. So hilft jede passende Datei dabei, die Sammlung vollständiger zu machen – besonders bei älteren Geräten, deren Produktdaten heute schwer zu finden sind.

Schaut gerne rein, probiert es aus und meldet euch, wenn etwas fehlt oder nicht funktioniert. Gerade alte Produktdaten, Handbücher und Plugins sind willkommen. 🙂

[Aandy]

Aus Neugierde: Wie hast du den Konverter technisch realisiert? Genug der ETS reverse engineert und die richtigen DLLs an den richtigen Stellen gecallt?

Ich bau da grad was und dafür würden mir ein paar mehr Produktdatenbanken gerade recht kommen. Ich hab n paar tausend aus dem offiziellen Katalog der ETS, aber du hast mehr.

[Peterich]

So, es hat sich wieder einiges getan ...
grafik.png
Ich habe mittlerweile sämtliche Multiproduktdateien (Gesamtdatenbanken usw.) in einzelne Dateien aufgeteilt.

Das heißt, es gibt jetzt, sofern ich die jeweilige Version habe, eine VD1-, VD2-, VD3-, VD4-, VD5- oder KNXPROD-Datei pro Gerät.
grafik.png
Bei älteren Dateien, bei denen es noch unterschiedliche Applikationsprogramme für Schalten, Dimmen, Jalousie usw. gab, enthält die einzelne VD-Datei weiterhin alle zugehörigen Applikationsprogramme des Geräts. Ich habe dabei versucht, jeweils die Version mit den meisten verfügbaren Sprachen beizubehalten.

Auch ältere Versionen sind weiterhin vorhanden. Es kann also durchaus sein, dass es für einen Schaltsensor X jeweils eine VD1 bis VD5 und eine KNXPROD gibt, teilweise sogar in drei verschiedenen Versionen.

Dafür gibt es keine riesigen Sammeldatenbanken mit mehreren MB mehr, die man umständlich importieren muss, um anschließend das passende Gerät auszuwählen.

Wichtig dabei: Ich habe die VD-Dateien nicht in KNXPROD-Dateien umgewandelt, sondern lediglich aufgeteilt. Bei den KNXPROD-Dateien habe ich das Gleiche gemacht, also aufgeteilt und neu registriert.

Zusätzlich habe ich versucht, die Kompatibilität zu älteren ETS-Versionen beizubehalten. Soweit vorhanden, habe ich deshalb mindestens eine passende Version für ETS3, ETS4 und ETS5 aufgehoben.

Es gab allerdings auch jede Menge Duplikate, die inhaltlich nahezu identisch waren. Teilweise unterschieden sie sich nur durch Kleinigkeiten, beispielsweise war bei einer Version die LED standardmäßig eingeschaltet, bei einer anderen ausgeschaltet. Auch die Toolkit-Version, mit der die Datei erstellt wurde, oder der Ersteller selbst waren teilweise unterschiedlich, obwohl die eigentliche Applikationsversion identisch war.

Hier habe ich dann jeweils die Datei behalten, die möglichst viele meiner Kriterien erfüllt hat.

Ach ja, die Version mit den meisten Sprachen habe ich ebenfalls bevorzugt. Ich überlege allerdings noch, ob man die verschiedenen Sprachversionen nicht irgendwie zusammenführen könnte.

Upload und Konvertierung

Auch beim Upload und bei der Konvertierung hat sich einiges getan. Hier gab es vorher teilweise Timeouts und andere Probleme, die ich mittlerweile überarbeitet habe.

Außerdem habe ich mir die Sicherheitsbedenken eines Users zu Herzen genommen.

Wenn beispielsweise jemand eine KNXPROJ-Datei mit einem Namen wie Kunde Ort Jahr.knxproj hochgeladen hat, wurde dieser Dateiname bisher im Log gespeichert. Die Logs werden 30 Tage aufbewahrt. Wenn bei der Verarbeitung ein Fehler aufgetreten ist, wurde auch die hochgeladene Datei aufbewahrt, damit ich nachvollziehen konnte, wo es gehakt hat.

Das habe ich jetzt geändert.

Der ursprüngliche Dateiname wird durch eine zufällige Kennung aus acht Zeichen ersetzt. Auch der Benutzer, der die Datei hochgeladen hat, wird nicht mehr im Log aufgeführt.

Bei einem Fehler wird die Datei allerdings weiterhin bis zu 30 Tage aufbewahrt, genau wie die Logs, damit ich den Fehler untersuchen und hoffentlich beheben kann.

Hier muss man mir natürlich ein Stück weit vertrauen, dass ich mit den Dateien keinen Schindluder treibe.
grafik.png
Bisher sind allerdings keine weiteren Fehler mehr aufgetreten.

Wenn bei der Verarbeitung kein Fehler auftritt, wird die hochgeladene Datei beim nächsten automatischen Aufräumen des Papierkorbs gelöscht.

Übersetzungen

Zusätzlich gibt es jetzt automatisch generierte Übersetzungen auf Englisch und Französisch, die mithilfe von KI erstellt werden.

Registrierung und API

Mittlerweile habe ich auch eine Registrierung eingebaut.

Nach der Registrierung wird man automatisch für zehn Dateien pro Tag freigeschaltet. Wer mehr benötigt, kann das gerne anfordern. Das muss ich dann allerdings manuell freischalten.

Die Begrenzung dient hauptsächlich dazu, meine Internetleitung nicht zu überlasten.

Der Hintergrund ist auch, dass ich mittlerweile einen API-Zugang für andere Anwendungen vorgesehen bzw. freigegeben habe:

1. XKNX Editor
2. Meine eigene MCP-App mit Rekonstruktionsfunktionen (aktuell noch nicht öffentlich erhältlich)
3. Gegebenenfalls weitere Open-Source-Projekte

grafik.png

Mal schauen, was sich daraus noch entwickelt.

[Kai Burkard]

Kurzer Hinweis: Du hast auf der Seite kein Impressum. Das solltest du dringend ändern.

Du hast übrigens ein paar mehr als wir Gerätekatalog – ETSpilot - ich hoffe, du hast nicht einfach von der IT GmbH kopiert oder das mit denen zumindest abgestimmt.

[DBocksteger]

Du hast übrigens ein paar mehr als wir Gerätekatalog – ETSpilot - ich hoffe, du hast nicht einfach von der IT GmbH kopiert oder das mit denen zumindest abgestimmt.

Nichts für ungut, aber sowas sollte man ggf. per PNs klären statt das einfach als Unterstellung öffentlich hier rein zu werfen. Hat für mich zumindest nichts von Foren-Etikette oder seriösem auftreten.

[traxanos]

statt das einfach als Unterstellung öffentlich hier rein zu werfen

Vielleicht lebst du in einem anderen Deutschland mit ähnlicher Sprache, aber wo bitte siehst du die Unterstellung?

[Punker Deluxe]

Und jetzt sind wir wieder alle nett und freundlich und haben ein schönes Wochenende...