Snips AI Offline Spracherkennung in Edomi

[vento66]

klingt gut, habe gerade mit asterisk und co genügend andere Baustellen

[g0bi]

Nanosonde ich danke dir für deine Erfahrung. Du hast recht, die einrichtung des RPi war wirklich einfach und mit einem vernünftigen Micro Array (Und hier hat das Matrix den Scharm des Satelliten, was ich leider nicht berücksichtigt hab) hat man eine seeeehr gute Spracherkennung. Zumindest solange man Snips als Action Wort nutzt. Bei eigengenerierten Wörtern ist die Erkennung meiner Meinung nach etwas schlechter. Dennoch sehr gut.

ich musste mich erstmsl mit MQTT auseinandersetzen und bin hier noch nicht komplett durchgestiegen. Ich denke mein Problem war dass ich versucht habe Snips das Topic edomi beizubringen und hier dann die KOs direkt mitzugeben, was ich leider nicht kann. Ich sollte wohl eher auf die Topics lauschen die Snips mitbringt? Bedeutet das nicht wahnsinnig virle MQTT Bausteine?

Auf jeden Fall sehr spannend und sobald ich die erste Lampe schalten kann mach ich mich an weitere Satelliten und werf Alexa raus. Wobei mein Sohn wohl den Pupsgenerator vermissen wird

[hapi]

Ich habe nun auch erste Versuche unternommen und könnte eigentlich alle Lichter schalten.

1. RaspberryPI B3 Plus, SD-Karte, Netzteil
2. RaspberryPI installieren https://docs.snips.ai/getting-starte...t-raspberry-pi (Step 1)
3. RaspberryPI Netzwerk https://docs.snips.ai/getting-starte...t-raspberry-pi (Step 2)
4. RaspberryPI Fixe IP https://www.raspberrypi.org/learning...ic-ip-address/
5. Arbeitsrechner (Windows 10) vorbereiten https://docs.snips.ai/getting-starte...t-raspberry-pi (Step 3)
6. RaspberryPI Sound einrichten https://docs.snips.ai/getting-starte...t-raspberry-pi (Step 4)
Ich hatte nur ein USB Headset zum testen, welches keine speziellen Treiber braucht.
7. RaspberryPI https://docs.snips.ai/getting-starte...t-raspberry-pi (Step 7) kann übersprungen werden, MQTT Server läuft bereits

8. In der Snips Console brauchen wir nun einen Assitenten: https://console.snips.ai/
- My Assistants - Create New - EDOMI z.B.
- My Assistants - EDOMI - Add an App - Switch z.B.
- My Assistants - EDOMI - Switch - Create New Intent - Switch z.B.
- My Assistants - EDOMI - Switch - Switch - Create New Slot - Device z.B. (hier werden dann Lampen, Räume, Geräte etc. identifiziert)
- [Update 19.01.2019: Zum Import der Devices und ihrer Synonyme kann der Exportstring aus dem LBS verwendet werden]

- My Assistants - EDOMI - Switch - Switch - Device - Create New Slot Type - Device z.B.
- My Assistants - EDOMI - Switch - Switch - Device - Device
- Hier nun alle möglichen Lampen, Geräte, Räume mit deren Synonymen anlegen (Diese Liste mit Synonymen brauchen wir später im EDOMI Snips LBS)

- My Assistants - EDOMI - Switch - Switch - Create New Slot - OnOff z.B. (hier wird dann der Befehl An oder Aus identifiziert)
- My Assistants - EDOMI - Switch - Switch - OnOff - Create New Slot Type - OnOff z.B.
- My Assistants - EDOMI - Switch - Switch - OnOff - OnOff
- Hier nun alle möglichen Synonyme für einschalten definieren (Diese Liste mit Synonymen brauchen wir später im EDOMI Snips LBS)
- Hier nun alle möglichen Synonyme für ausschalten definieren (Diese Liste mit Synonymen brauchen wir später im EDOMI Snips LBS)
- [Update 19.01.2019: Zum Import der Devices und ihrer Synonyme kann der Exportstring aus dem LBS verwendet werden]
- Trainieren, Save und Deploy-Anweisungen folgen

snips_console.png

snips_console_slot_type_device.png

snips_console_slot_type_on-off.png

9. EDOMI MQTT Client installieren
- 19001054_lbs.php
- Achtung in der Hilfe die Prerequisits installieren, allen voran aber noch "yum update nss", sonst gibt es eine Fehlermeldung

10. Provisorischen LBS 19000426_lbs.php Snips Switch installieren

https://service.knx-user-forum.de/?c...ad&id=19000426

11. Zum Debuggen von MQTT hat mir MQTT.fx geholfen (http://www.jensd.de), ist aber eventuell garnicht nötig

12. Logik anglegen

- LBS MQTT Client configurieren

- IP auf den Raspi ändern
- E9, hier darauf achten, der Username von Snips ist enthalten (hier "hapi"), dies ändert sich für jeden, Switch ist die App, die wir in der Snips Console angelegt haben (hermes/intent/ bleibt überall gleich)

- LBS Snips Switch configurieren

- intentName wie in der Snips Console
- SlotName Device wie in der Snips Console
- Rest ebenso
- E6, alle varianten für Einschalten, wie in Snips Console definiert
- E7, alle varianten für Ausschalten
- E10+ die synonyme für die erste Lampe, alle varianten wie in Snips Console definiert (Groß- Kleinschreibung ist egal, Leerschritte auch, getrennt durch |)
- A10+ hier kommt dann 0 oder 1 raus, welches dann per Ausgangsbox mit einem KO verbunden werden kann

edomi_mqtt-client_snips-switch.png

Sobald ich den LBS fertig hatte (mein letzter ist schon eine Weile her), funktionierte das erstaunlich gut. Der LBS ist noch sicher nicht ausgereift, aber in so zu ändern, dass er auch Zahlen entfängt (Dimmer, Heizung etc.) sollte nicht sehr aufwändig sein. Aus Zeitmangel ist das mein aktueller Status. Der LBS kann gerne weiterverwendet werden.

Die Frage ist halt, ob sich das jeder antun will. Theoretisch könnte man einen Snips-Assistenten veröffentlichen. Aber die Benamsung von Lampen, Räumen und Geräeten, wird in jedem Haushalt anders lauten. Zudem würde das zum Beispiel falsch erkannte Lampen fördern, wenn es diese in dem Haushalt garnicht gibt.

Update 19.01.2019: Neu Version mit Exportfunktion für Snips Console Slots Import veröffentlicht.

[huwi07]

Vielen Dank an hapi für die detailreiche Beschreibung und den LBS (eine Weiterentwicklung des LBS wäre super). Der aufwand hat sich dank Stufenweiser Beschreibung auch für mich als Anfänger in grenzen gehalten und der Snips LBS hilft bei der Weiterverarbeitung sehr. Einzig der Eingang an E9 machte mir Probleme und ich musste den Debugge Tip für MQTT zur Hand nehmen (hermes/intent/edom_h:switch) hat dann geholfen edom_h ist der Username falls jemand an der selben stelle Probleme hat.

Die Sprachsteuerung funktioniert sehr gut nun geht es weiter mit der Mikrofon Integration im Raum hat da jemand einen Mikrofon Tip?

Mich wundert etwas das hier nicht mehr Interesse herrscht angesichts Alexa ist Sprachsteuerung in aller Munde wie man auch hier im Forum sieht. Sicherheitstechnisch ist diese Lösung ja zu bevorzugen.

gruß
huwi

[mmarkus]

Von mir ist das Interesse sehr vorhanden, und ich danke auch allen Pionieren und Anleitungsschreiber. Bin aber einfach noch nicht dazu gekommen.
Alexa und co kommen mir auch nicht in die Bude

[bkr]

Mich interessiert das auch sehr, da ich auch keinerlei Freund von Cloudlösungen bin. Wird bei mir aber auch noch etwas dauern mit dem Testen. Auf jeden Fall an dieser Stelle schon mal besten Dank für die Arbeit!

[denz]

Klingt auch für mich interessant. Mein Hausbau ist gerade in vollem Gange und bei der Planung hatte ich Sprachsteuerung komplett außen vor gelassen, weil ich grundsätzlich das Internet aus meinem Smarthome raushalten will.

Jetzt muss ich mir wohl kurzfristig überlegen ob ich doch noch schnell Möhlichkeiten schaffe/vorbereite ein Mikrofon zu verbauen.

Was für ein Kabel legt man da hin? Netzwerkkabel?

[Henner2000]

Ich habe auch großes Interesse an einer autarken Sprachsteuerung. Da ich auch gerade mitten im Rohbau stecke, würde es mich brennend interessieren, welche Kabel ich für das Mikrofon verlegen muss?? Lautsprecherkabel habe ich bereits von zentraler Stelle in alle notwendigen Räume verlegt.

[multimedia]

Kurze Info, vielleicht interessant für diejenigen, die Snips in einer Produktdatenbank der ETS konfigurieren möchten:
ProKNX ist inzwischen offizieller Partner von Snips. Unser realKNX Air wurde von Snips zertifiziert. Wir werden demnächst eine Mikrofon/Lautsprechereinheit für Decken- und Wandeinbau vorstellen. Mehr zu alldem auch im proServ Unterforum.
Hier ein offizieller Link von Snips: https://medium.com/snips-ai/the-open..._hsmi=67313032

[g0bi]

multimedia Danke für den Hinweis aber ich denke das hat bereits jeder auf der ersten Seite gelesen dass es von euch fertig vertrieben wird. Ich denke der Charme hier liegt beim günstigeren Eigenbau und den Möglichkeiten hierbei was zu lernen?
huwi07 ich hab die Hardware hier liegen und denke ab Morgen/Übermorgen setze ich mich auch nochmal dran, bisher war die Zeit nicht da.

[multimedia]

Ich denke der Charme hier liegt beim günstigeren Eigenbau und den Möglichkeiten hierbei was zu lernen?

Sorry, falls Dir mein Beitrag zu aufdringlich erscheint. Ich möchte dem Charme keinen Abbruch tun und verstehe sehr gut, dass man bei der Entwicklung auch grosse Freude und Erfolgserlebnisse hat. Hatte einfach nur m.E. legitim auf die vorherigen Threads reagiert.
BTW wenn's bezüglich Snips mal hakt können Fragen auch gerne im proServ Forum gepostet werden. Das ist eben der Vorteil einer grossen Gemeinschaft aus Anwendern, Entwicklern und Herstellern!

[g0bi]

hapi

ich denke das ist auch noch interessant, bisher hab ich es aber noch nicht ausprobiert

https://github.com/Psychokiller1888/SnipsSonosInvader

[crewo]

hapi

ich denke das ist auch noch interessant, bisher hab ich es aber noch nicht ausprobiert

https://github.com/Psychokiller1888/SnipsSonosInvader

Wie cool ist das denn...

[hapi]

@SnipsSonosInvader: Hab mir das angesehen. Die Lösung funktioniert nur solange die Apps Sonos explizit ansprechen. Wenn man Standard-Snips-Apps ladet, dann geben die nichts über Sonos aus. Für Apps wie "wann fährt der nächste Zug", "stelle Timer" etc. die es hoffentlich in Zukunft geben wird, müsste man dann überall eine Sonos-Ausgabe mit implementieren. Das wird zumindest ein Standard-App-Entwickler nicht machen. Ich experimentiere gerade mit Soundausgabe auf einen anderen PI. Mein Problem ist, dort wo die MICs stehen, gibt es kein Audio-Input und Lautsprecher würde ich nicht überall dazustellen wollen. Ich habe beim Hausbau bereits an Sprachsteuerung gedacht, jeder Raum hat mindestens eine Leerdose unter der Decke, wo Mikrofon, Camera, Sensoren eingebaut werden könnten. Diese wird es in den nächsten 100 Jahren sicher geben. Und ich gehe mal davon aus, dass unser Massivhaus auch in 100 Jahren noch stehen wird.

Ich teste gerade ein Setup, wo die Soundausgabe vom PI mit MIC-Array auf einem anderen PI im Keller bei der Multiroomanlage stattfindet. Mein Ziel wäre Pulsaudio gewesen, aber Snips scheint partout nicht mit Pulseaudio zusammenarbeiten zu wollen. Mit SOX habe ich es jetzt hinbekommen, nur die Stabilität und Soundqualität muss sich erst beweisen. Hier müsste man dann ehr eine Lösung finden, wie man den kompletten Sound auf Sonos umbiegt, ohne in die Snips-Applogik einzugreifen. Kenne Sonos nicht, aber wenn ich einen PI habe, wo der Audiooutput rauskommt, dann gibt es sicher Wege und Möglichkeiten dies auf Sonos auszugeben. Theoretisch müsste hier auch die kleinste PI-Varianten reichen.

Update: Das Setup mit pulseaudio habe ich nun auch hinbekommen. Damit habe ich eine relativ stabile und gute Wiedergabe auf einem andern PI.

[crewo]

Das hilft vermutlich nicht viel, da man für die Ausgabe über Sonos dann bestimmt die Quelle vorerst einstellen muss:

https://www.instructables.com/id/Add...-Raspberry-Pi/