Busprotokollauswertung über KI... wer machts?

[Theees]

Hallo zusammen,

ich klaue mal ein Zitat aus dem SpectrumKNX-Thread...

KNX Fehler finden leicht gemacht

Hat hier schonmal wer umfangreiche Protokolle, also über Tage oder Wochen von KI auswerten lassen?

Ich habe ja mein KNX-Haus selber in Betrieb genommen und es funktioniert auch soweit alles wie ich mir das vorstelle. Aber hier wäre für mich echt interessant was eine KI bei mir alles an Auffälligkeiten, Optimierungen, oder richtigen Fehlern finden würde die ich überhaupt nicht mit bekomme. Ich suche ja nicht nach Fehlern die ich nicht kenne.
Ein Beispiel. Ich hatte mal die Zeitzone fälschlicherweise auf Berlin stehen und die Aussenbeleuchtung um 5 Uhr einschalten lassen und bei Sonnenaufgang wieder ausschalten lassen. Blöderweise war dieser in Berlin schon um 04:50 Uhr sodas der Ausschaltbefehl kam. Um 5 wurden die Spots dann eingeschaltet und liefen den ganzen Tag. Das ist mir ewig nicht aufgefallen da sie im Vorgarten Sträucher anstrahlen und es ja schon hell war. Oder es laufen permanent Busprotokolle die aber garkeinen Empfänger haben. Oder findet inkonsistente Benennungen oder oder oder...

Ich nutze ChatGPT generell viel um kleinere Mitschnitte analysieren zu lassen. Aber bei so komplexen Datensätzen bin ich mir dann doch etwas unschlüssig ob das so gut ist alles in die KI zu stellen.

Hat da wer Erfahrungen? Macht ihr sowas oder lieber nicht? Welche Daten sollten bereinigt werden?
Ich würde mein System schon gerne systematisch gut aufbauen und auch in der ETS sauber Pflegen damit auch ein externer damit zurecht kommt.
Aber die Komplexität ist hoch und ich kratze immernoch an der Oberfläche da ich nur meine kleine Installation mit 40 Geräten betreue.

Edit: Was ich mir daraus auch wünschen würde wären z.B. Vorschläge für Beschreibungen, oder erklärungen für Logiken wo ich ehrlich gesagt bei der Erstellung mit der Doku geschlampt habe.

Gruß Thies

[tsb2001]

Ich suche ja nicht nach Fehlern die ich nicht kenne.

Um die KI aber „an das denken“ für dich zu bekommen, benötigt auch die zwangsläufig Daten. Einerseits ist das das Busprotokoll mit den Informationen, was geschehen ist.
Und zweitens deine Beschreibung, wie es entweder sein sollte (wenn du Fehler feststellst) oder wo du denkst, dass es was zu verbessern gibt (wenn sich das Haus sich gegen deine Lebensgewohnheiten verhält).

Wenn du letzteres nicht der KI explizit in sauberen Promts beschreiben kannst, was du als Ergebnis erwartest, weil

es funktioniert auch soweit alles wie ich mir das vorstelle

; wie soll die KI genau was verändern?

Zumal die KI anhand der Aufzeichnungen aus der ETS im Bus- oder Gruppenmonitor auch einen kompletten Datensatz haben müsste, welche Geräte genau verbaut worden sind, um sich durch sämtliche Anleitungen zu lesen, ob der Aktor von Hersteller A auch das gleiche kann, wie dein verbauter Aktor von Hersteller B. Sonst wäre das Ergebnis folgendes, dass eventuell ein Vorschlag einer Parametrierung eines MDT-Aktors kommt, obwohl du Gira oder Merten verbaut hast.
Es nützt zum Beispiel nichts, wenn du deine Rolladen optimieren möchtest und die KI dir auf Basis von Daten des MDT-Aktors mit Fahrzeitmessung Verbesserungen vorschlägt, du aber den Aktor ohne das „M“ in der Typenbezeichnung hast.

KI wird dir nur dabei helfen können, wenn du alle Daten deines Projekts bereitstellst, und deine Wünsche sauber äußerst.

Der Busmonitor alleine wird dir nichts helfen - solange die KI von dir nicht explizit gefüttert wird - dass es dein Wunsch ist, dass die Ausschaltzeit der Außenbeleuchtung nicht vor dem Einschalten gesendet werden soll. Und auch dann musst du der sagen, wo du wohnst. Denn wenn die in deinen Parametersätzen „Berlin“ findet und da die Sonne um 4:50 Uhr laut Zeitzone aufgeht, hat die immer noch keine Info darüber, wo du wohnst.
Ohne vernünftig gestellten Prompt des Sollzustandes mit sämtlichen Rahmenparametern wirst du kein brauchbares Ergebnis bekommen. Schlimmstenfalls verkehrt die das ins Gegenteil, wenn die irgendwo eine eingetragene Zeitzone von (überspitzt formuliert) „Peking“ in deiner Konfiguration findet, und du der niemals erklärst, das du in Wirklichkeit beispielsweise in Aachen wohnst.

Fehlende oder unvollständige Informationen führen sonst zu sowas:
image.jpg

[Fidelis]

Oder es laufen permanent Busprotokolle die aber garkeinen Empfänger haben. Oder findet inkonsistente Benennungen

Das wären Dinge, ich mir gut als Anwendungsfall vorstellen kann. Meiner Erfahrung nach sind Sprachmodelle ziemlich gut darin Inkonsistenzen zu finden. Das klappt bei meinen Anwendungsfällen (bisher außerhalb von KNX) gut, sowohl was Sprache angeht, aber auch was Logik bzw. Code betrifft.

[Theees]

Und zweitens deine Beschreibung, wie es entweder sein sollte (wenn du Fehler feststellst) oder wo du denkst, dass es was zu verbessern gibt (wenn sich das Haus sich gegen deine Lebensgewohnheiten verhält).

wie soll die KI genau was verändern?

Es würde ja schon helfen wenn er typische Herangehensweisen als Basis nimmt und meine Automationen/Protokolle dagegen prüft. Ich muss ihm ja erstmal nicht für alles genau erklären was ich mir wünsche. Er könnte z.B. direkt sehen das mein PM im Flur nur nachts die Wandeinbaustrahler einschaltet, tagsüber aber manuell geschaltet wird.
Das ist ja relativ untypisch und ich würde erwarten das der KI das auffällt. Da das so gewünscht ist wäre die Antwort einfach "meine Frau möchte das so". Aber wenn es nicht gewünscht ist weil ich eine GA falsch verknüpft habe, dann könnte ich das aufgreifen.

Zumal die KI anhand der Aufzeichnungen aus der ETS im Bus- oder Gruppenmonitor auch einen kompletten Datensatz haben müsste, welche Geräte genau verbaut worden sind, um sich durch sämtliche Anleitungen zu lesen, ob der Aktor von Hersteller A auch das gleiche kann, wie dein verbauter Aktor von Hersteller B. Sonst wäre das Ergebnis folgendes, dass eventuell ein Vorschlag einer Parametrierung eines MDT-Aktors kommt, obwohl du Gira oder Merten verbaut hast.

Gut, das könnte man natürlich grob mitteilen. Da hätte ich weniger Bedenken.

Der Busmonitor alleine wird dir nichts helfen - solange die KI von dir nicht explizit gefüttert wird - dass es dein Wunsch ist, dass die Ausschaltzeit der Außenbeleuchtung nicht vor dem Einschalten gesendet werden soll. Und auch dann musst du der sagen, wo du wohnst. Denn wenn die in deinen Parametersätzen „Berlin“ findet und da die Sonne um 4:50 Uhr laut Zeitzone aufgeht, hat die immer noch keine Info darüber, wo du wohnst.

Ich würde vermuten das eine "gute KI" (Auf der Arbeit nutze ich seit einem Jahr die ChatGPT Pro Version) das erkennt. Wenn bei Sonnenaufgang ausgeschaltet werden soll und wird, aber danach wieder eingeschaltet und das Licht dann am Tag brennt, dann stimmt die Logik nicht. Evtl. kommt dann eine Rückfrage "warum wird wieder eingeschaltet" oder "deine Zeitzone steht auf Default - wohnst du in Berlin?". Aber evtl. mute ich der KI da auch zu viel zu.
Daher hier die Frage ob sowas schon jemand mal wirklich gemacht hat, vor allem mit so einem Tool wie dem SpectrumKNX der umfangreich die Daten loggt.

Fehlende oder unvollständige Informationen führen sonst zu sowas:

Das richtige Interpretieren der KI-Ergebnisse ist natürlich extrem wichtig. Ich habe die Erfahrungen gemacht das z.B. Coding (HASS zu Hause oder VBA an der Arbeit) deutlich besser funktionieren als allgemeine Fragen. Da gibt es einfach eine viel bessere Datengrundlage für die KI.
Gegenprüfen mit einer anderen KI oder in einem neuen Chat sowie Quellen herausgeben lassen hilft hier auch immer ganz gut.

Meiner Erfahrung nach sind Sprachmodelle ziemlich gut darin Inkonsistenzen zu finden.

Das würde ich auch so sehen.

Gruß Thies

[tsb2001]

typische Herangehensweisen

Aber genau das ist das schwierige.
Anders als beim Code schreiben über KI kennt die KI nicht den „typischen“ Bewohner eines Hauses und dessen Lebensgewohnheiten. Die KI kann aus dem Protokoll zwar eventuell einen mitgesendeten Helligkeitswert rauslesen und die Verknüpfung zu einem binären Wert finden, der wegen diesem Helligkeitswert eine Leuchte passend dimmt. Die kennt aber nicht den Montageort des Lichtwertgebers, nicht die Reflexionsgrade der Wände und Decken und vor allem nicht deinen Anspruch an die gewünschte Helligkeit, die du gerne hättest.

Ebensowenig kennt die zum Beispiel bei 2 Bewegungsmeldern an der Ost- und der Westseite des Hauses, wann es sinnvoll ist, die Beleuchtung vor Ort bedarfsgerecht einzuschalten. Die Helligkeiten unterscheiden sich bei Sonnenaufgang und -Untergang bei gegenläufigen Hausseiten extrem.
Und auch da steht am Ende die Frage im Raum: geht mir das zu früh oder zu spät an? Wie ist mein Wunschdenken. Und wenn ich es eh in die ETS einklimpern muss, kann ich mir den Helligkeitswert auch selbst ermitteln. Dann die Parameter innerhalb der ETS wird die KI ohnehin nicht selbst anpassen. Da fehlt die Schnittstelle…

Der Kernunterschied zur Programmerstellung ist doch folgender: dort verfasse ich ein Ziel, die KI codet das, ich teste und gebe Rückmeldungen zu unerwünschtem Verhalten und die KI schreibts um.Mit copy and paste kann ich das übertragen und neu testen. Das sind „hard facts“, da jeder Befehl einer Programmiersprache dokumentiert ist und die KI selbiges so interpretieren kann,wie es am Ende jeder Rechner auch stupide ausführt.

Hast du aber drei Mitbewohner mit völlig unterschiedlichen Präferenzen hinsichtlich den Themen, wann ich es wie hell haben möchte; oder was ist die grade aktuellste Wohlfühltemperatur im Wohnzimmer je nach Anwesenheit sein soll, wird das die KI nicht leisten können.
Und wenn ich feststelle, dass die Lampen morgens noch alle Leuchten, weil die Astro-Zeit leider schon ein „Aus“ gesendet hat, bevor die Zeitschaltuhr ein „Ein“ sendet, kann das meine natürliche Intelligenz auch ermitteln. Dafür brauche ich keine künstliche Intelligenz, die mir sagt, dass ich nicht in Berlin wohne, sondern woanders.

Ich selbst nutze auch immer mehr KI und auch ich verwende mittlerweile Bezahlmodelle, um diverse Problemstellungen zu lösen.
Aber dann muss es Zeit sparen. Wenn ich aber die KI erst umständlich füttern muss, um ein Ergebnis zu erhalten, was ich ohnehin annähernd schon weiß, kann ich das auch selbst entscheiden und abändern.

Und da die KI keine „typischen Herangehensweisen“ ohne viel Input von dir nicht kennen kann, wird die da nichts auswerten können. Anders wäre es, wenn im Netz hunderte Wohnhäuser ihre Projektdateien online gestellt hätten, wo sich eine Herangehensweise draus ableiten liesse. Dann hätte die KI eine Basis, aus der die lernen könnte, wo die größten Schnittmengen sind. Da das aber nicht der Fall ist, wird das Training schwierig. Folglich werden auch da keine extremes Verbesserungspotential zu finden sein, was der eigene Kopf nicht auch könnte.

Wenn die KI wissen bündeln kann, weil es viele Informationen dazu gibt, kann die lernen und valide Ergebnisse erzeugen. Wenn es aber nur ein Busprotokoll und Automationen von dir gibt, die in keinem Zusammenhang zu allgemein zugänglichen Informationen stehen, fehlt der KI halt das „typische“ und somit die Gewichtung auf richtig und falsch.

Und das sehe ich dabei als die Schwierigkeit an. Zumal ich ein Ergebnis aus der KI selbst noch händisch in die ETS einpflegen muss und dann im Anschluss das Ergebnis validieren. Das spart dann keine Zeit, wenn ich dazu das Sprachmodell händisch füttern muss.

Da lasse ich die doch lieber hintereinander hunderte Zeilen JavaScript für die Karte in Homeaaistant schreiben, wo ich mit wenigen Zeilen Eingabe mein geplantes Ergebnis definiere, was ich dann nur reinkopieren muss.

Versuche es doch mal und gucke, ob dir das überhaupt einen Vorteil gebracht hat. Wenn dadurch der Bus sauberer läuft oder Automationen besser funktionieren; und das mit wenig Zeitaufwand - dann ist es positiv. Wenn du allerdings am Ende das Fazit ziehst, dass du das alles eh schon selbst erkannt hattest, war das für den Popo…

Übrigens wurde dieser Text ganz natürlich von mir getippt. Der kann also grammatikalisch falsch sein oder Rechtschreibfehler enthalten; das ist mir egal. Es gibt lediglich meine Einschätzung zu dem Thema wieder und es stammt ganz persönlich von mir.

[Theees]

Und da die KI keine „typischen Herangehensweisen“ ohne viel Input von dir nicht kennen kann,

Von mir persönlich nicht aber schon von millionen Github, Reddit und was weiß ich was für Einträgen aber Systemübergreifend. Also Alles was es im Netz über HomeAssistant usw. gibt gilt ja auch für KNX von der Sache her. Da gibt es sicher schon eine gute Datengrundlage. Es müsste ja nicht mal KNX-Spezifisch sein. Ob das Licht im Vorgarten von einer GA oder einem MQTT geschaltet wird ist ja auch egal.

Versuche es doch mal und gucke, ob dir das überhaupt einen Vorteil gebracht hat.

Hierzu noch mal meine Frage aus dem Eingangspost. Welche Daten würdet ihr bedenkenlos der KI mitteilen? Das Busprotokoll gibt ja eigentlich nichts geheimes raus. Hier werden ja auch immer mal wieder komplette Projektdaten an User geschickt die unterstützen wollen.
Ich bin hier schon recht empfindlich weil ich nie so richtig überblicken kann was mit den Daten dort genau passiert. Z.B. lösche ich immer die Adresse meines HMIP Türschlosses wenn ich die YAML schreiben lasse.

ChatGPT hat mir natürlich vorgeschlagen einfach meine Projektdatei komplett rein zu werfen

Das spart dann keine Zeit

Zeit ist natürlich für Dich als Gewerbetreibenden ein härterer Faktor. Aber klar, ich möchte natürlich auch nicht Stunden da rum doktorn um Ergebnisse zu erhalten die ich auch in weniger Zeit beim durchfliegen meiner ETS schon eintragen könnte.

[Beleuchtfix]

Als Gewerbetreibender ist aber der Datenschutz auch ein Faktor, und die Projektdatei eines Kunden ungefiltert an ChatGPT zu übertragen ist bestimmt ein Verstoß gegen die DSGVO.
Gruß Florian

[gbglace]

ja also wenn dann lass sowas nur von einer lokalen KI durchdenken und Monitoren. Wer in der ETS saubere Namen der GAs gepflegt hat, stimmige DPT gesetzt hat, die dann in der textuellen Übersetzung zu sehr gut zum GA-Namen passen, und ebenso den Geräten/KOs passende Namen vergeben hat und der KI Context dann auch die Gebäudestruktur geliefert bekommen hat, dann kann die schon sehr gut fehlerhafte Auslösungen und logische Verkettungen erkennen.

Das spannende ist dann eher wie füttert man eine solche lokale KI mit dem stetigen Strom an Telegrammen und kann sie selbst Ihr Gedächtnis sinnvoll komprimieren. weil ansonsten lässt das laufen und nach nem halben tag ist das Token Kontext Budget komplett überfüllt. Und dann steigt auch eine lokale KI irgendwann aus, wegen Überlastung. dann braucht das ding länger über ein Telegramm nachzudenken bis das nächste kommt. Und einfach mal so alle Woche einmal eine dicke CSV Datei da rein kippen bringt dann auch nicht soviel.

Und dann bleibt die Tatsache übrig, dass ein Smarthome was jetzt nicht alles im KNX beherbergt an der Stelle dann zu einem unvollständigen Bild führt. Denn so manches wie "es sind alle Personen anwesend per Handy-WLAN login" hat man ggf gar nicht im KNX. Aber für eine KI wäre so etwas sehr hilfreich jedwede Form von Alarm vs Du rennst zwar ungewöhnlich aber des Nachtens durchs Haus, korrekt beurteilen zu können.

Ich denke das werden aber alles die nächsten Schritte werden der ganzen Automations und KNX-Server-Lösungen.