SNIPS.ai mit SmartHomeNG verbinden / btw. KNX steuern - Sprachsteuerung

[startrix]

Hallo Zusammen,

hat sich schon mal jemand von euch mit www.snips.ai beschäftigt? (Alternative zu EchoDot, Alexa und Co., welcher ohne Cloud anbindung funktioniert)

Ich habe gerade auf einem RPI mit einem ReSpeaker 4 Mic Array Snips installiert, nun würde ich gerne Befehle in Richtung KNX Bus absetzen um den Status abzufragen oder ganz rudimentär "Licht an / Licht aus" zu realisieren.

Ohne Zusatz Hardware / Software, komme ich da wohl nicht so weit, wenn ich das richtig sehe. Viele Anleitungen gehen in Richtung EDOMI. Da ich aber SmartHomeNG benutze würde ich lieber darüber die Brücke zum KNX schlagen. Oder gibt es doch einen direkten Weg auf den Bus?

Alternativ läuft im Keller noch ein Raspi Nano mit NodeRed welchen ich auf jeden Fall über MQTT ansprechen könnte (denke ich zumindest).
Aber MQTT dürfte ja auch mit SmartHomeNG gehen (https://smarthomeng.de/user/plugins_...nfig/mqtt.html).

Leider bin ich im Thema MQTT noch komplett neu, daher würde mich interessieren ob dies schon mal jemand realisiert hat und wie es so funktioniert.
Falls dann noch jemand Links zu verständlicher Literatur hat, das wäre der Burner ;-)

Viele Grüße
Jannis

[Bonze]

Brauchst du ne mqtt? Anbindung an die items? Wenn ja, nimm das mqtt plugin und deine probleme sind easy gelöst.

[startrix]

Bonze ja, ich denke über MQTT ist das ganze realisierbar. Bin jetzt gerade mal dabei den MQTT Broker auf dem SmartHomeNG Server zu installieren und das Plugin zu aktivieren. Dann muss ich mich da mal rein lesen... Wie gesagt MQTT ist für mich noch Neuland, aber das war SmartHomeNG für mich auch mal ;-)

[Bonze]

Ist aber easy, mosquitto broker installieren , paho-mqtt installieren , plugin aktivieren und die entsprechenden parameter bei den items hinzufügen

[fredinka]

Ich habe auf einem Raspi sowohl snips als auch node-red laufen, d.h. ich empfange die Nachrichten von snips, verarbeite diese entsprechend in node-red und gehe dann über einen IP-Router direkt auf den KNX-Bus.

In einigen Foren wird dargestellt, wie snips und node-red zusammen arbeiten (z.B. hier), danach braucht man nur noch über den KNX-Knoten die richtigen Befehle im node-red senden.

[startrix]

fredinka und wie kommunizierst du zwischen snips und node-red? Via MQTT, wie in dem Link von dir auch beschrieben?

Viele Grüße
Jannis

[fredinka]

Ja, es wird über MQTT kommuniziert.

[element]

Danke für den Hinweis mit Snips
ich hab es mir auf nem raspberry mit dem 4 mic respeaker installiert. Hab im smarthomeng meine items mit mqtt topics versehen und snips sendet direkt mit paho-mqtt auf den mosquitto broker der an smarthomeng übergibt.
War etwas Arbeit, läuft aber klasse - und keiner hört mit.......

[startrix]

Hey element ,
schön das du es zum laufen bekommen hast, und dies auch auf eine elegante Weise. Darf ich fragen was du steuern kannst, und mit welchen Assistenten du SNIPS betreibst?

Ich drehe aktuell noch eine Schleife über eine NodeRed Instanz, welche auf die MQTT Nachrichten lauscht und eh schon mit KNX kommuniziert, da dort auch die Temp/Hum Sensoren im Keller dran hängen.

Ich kann bisher Lichter ein und ausschalten. Bei Räumen wie Küche, Wohnzimmer, Schlafzimmer, geht dies gut. Bei Befehlen wie Marias Kinderzimmer Licht an, oder Flur unten Licht an, verschluckt er sich.
Ansonsten halt der Standard, mit Wie ist das Wetter oder Wieviel Uhr ist es?

Was ich leider noch nicht hinbekommen habe einen Temperaturwert der Sensoren, welche in einer DB gespeichert werden abzurufen...

Wird wohl noch ein bisschen Spielerei :-)

Aber aktuell beschäftigt mich mein neues Spielzeug, ein 3D-Drucker nebenbei auch noch ein bisschen.

Viele Grüße
Jannis

[element]

Snips läuft mit Wetter, Datum und Uhrzeit, Smaltalk, Assistenz Informationen und meinem Licht-an-aus-dim. Darin habe ich drei Intents an, aus, dim, und als slots Ort, Leuchtenart und Dimmwert. Ort und Leuchtenart übergibt snips quasi in smarthomeng- form Bsp: eg/wohnen oder licht/decke.Ich habe die mqtt-topics quasi an die item- Pfade angelehnt. Die slot- Werte werden dann in einem script weiterverarbeitet und per mqtt an smarthomeng gesendet.
Die slots werden bei mir einigermaßen gut erkannt, Werte wie Kinderzimmer oder "Name"Zimmer werden als eg/kind übergeben, garten oder eingang werden als aussen/garten bzw aussen/eingang übergeben.
An Werte auslesen und in snips ausgeben habe ich mich noch nicht versucht.
Ich musste durch snips erst "virtual environments" lernen. Das hat etwas gedauert. paho-mqtt war installiert, syslog hat es aber als fehlend ausgegeben und somit konnte ich nichts an smarthomeng senden.
Mit snips hatte ich anfangs das Problem, das es mir Licht tlw falsch ausgegeben hat. Esszimmer Licht ergibt bei mir -> eg/essen und licht/decke.
Küche Licht Arbeitsbereich ergab -> eg/kochen - licht/decke also Fehler. Ich habe dann in snips "Licht Arbeitsbereich" als slot markiert. das ergibt licht/arbeitsbereich.
"Licht" einzeln ergibt licht/decke.
Damit klappt das erkennen ganz gut.
Bin jetzt mit Rollladen angefangen.
Brauche noch eine gute Idee für ein wake-word

[KHome]

Wake-word Beispiele sind unter folgenden URL zu finden: https://snowboy.kitt.ai/dashboard
Ich persönlich finde "Hey Alfred" oder "Hey Watson" ganz gut. - Klingen beide nach Butlernamen

@element : Könntest Du deine Snips relevanten smarhomeng-config Dateien sowie Snips-Configs teilen?

[bmx]

Es wäre cool, wenn ihr einen Artikel für den Blog auf www.smarthomeng.de vorbereiten könntet...

[KHome]

...in den Weihnachtsferien steht es bei mir auf dem Plan mit Snips zu starten. Ob es für einen Artikel reicht, müßte ich dann sehen...
Mit ein wenig Unterstützung von element stehen die Chancen bestimmt besser

[vento66]

...in den Weihnachtsferien steht es bei mir auf dem Plan mit Snips zu starten.

vielleicht etwas spät, oder hat es sich bis ins SmarthoneNG noch nicht rumgesprochen?
https://knx-user-forum.de/forum/proj...in-edomi/page8

Kurz: Der Gaul den Du reiten willst, ist tot.

[element]

Snips wurde von Sonos gekauft, die Webseite zur Umsetzung der Sprachsteuerung wird abgeschaltet zum 30.01.2020. Hab mich schon ordentlich geärgert. Was bis dahin fertig ist und auf dem Endgerät läuft darf behalten werden, Neues kann nicht mehr generiert werden. Ich hab meine Rollläden jetzt mit realisiert und werde im Januar noch Szenen bauen.
Ich würde z Zt keine Arbeit neu in das Projekt investieren. Man weiß dort im Forum auch nicht wie es weiter geht.
Ich hänge mein script mal an. Meine mqtt topics sind analog zu meinen items:
Bsp.
rollladen/eg/essen/move - (gesamt)
rollladen/eg/essen/seite/move - (einzel)
das script:

import paho.mqtt.client as mqtt

current_session_id = intentMessage.session_id
paho_broker_address="192.168.178.8"

if not intentMessage.slots.roll_art:    
    roll_ort = intentMessage.slots.roll_ort.first().value
    
    paho_publish = "rollladen/eg/{}/move".format(roll_ort)
    client = mqtt.Client()
    client.connect(paho_broker_address)
    client.publish(paho_publish,"OFF")

    result_sentence = "Rollladen {} fahren hoch".format(roll_ort)


elif not intentMessage.slots.roll_ort:
    roll_art = intentMessage.slots.roll_art.first().value
    
    if roll_art == "tuer":
        result_sentence = "Angabe des Raums fehlt"
    else:
        paho_publish = "rollladen/eg/{}/move".format(roll_art)
        paho_publish = paho_publish.replace("gesamt/", "")
        client = mqtt.Client()
        client.connect(paho_broker_address)
        client.publish(paho_publish,"OFF")

        result_sentence = "Rollladen {} fahren hoch".format(roll_art)

else:
    roll_ort = intentMessage.slots.roll_ort.first().value
    roll_art = intentMessage.slots.roll_art.first().value
    
    paho_publish = "rollladen/eg/{}/{}/move".format(roll_ort, roll_art)
    client = mqtt.Client()
    client.connect(paho_broker_address)
    client.publish(paho_publish,"OFF")
    
    result_sentence = "Rolllade{} {} fährt hoch".format(roll_ort, roll_art)

hermes.publish_end_session(current_session_id, result_sentence)

übergeben werden vom Sprachassistenten roll_ort und roll_art. Je nachdem ob beide oder nur ein einzelnes vorhanden ist agiert das script. Ich hatte zuerst im mqtt plugin für ein item mehrere topics eingerichtet, damit man nicht immer alle slots übergeben muss, das hat aber nach einiger Zeit nicht mehr funktioniert und smarthomeng hat nur noch "1" mqtt-topic erkannt. Der Himmel weiß warum.
Vielleicht hilfts dir ja noch, aber ich glaube die Mühe ist es z.Zt. nicht wert.