Snips AI Offline Spracherkennung in Edomi

[Nanosonde]

Hallo!

Hat sich jemand mit diesem Thema schon beschäftigt?
https://snips.ai/

Das lässt sich ja auf einem Raspberry Pi installieren. Den Voice-Assistenten mit Intents und Slots klickt man sich online zusammen und lädt ihn dann als Modell(?) runter.
Vorteil: es geht nichts in die Cloud wie bei Siri, Alexa und Co....

[linus83]

Moin,

anbei ein Beispiel zur Umsetzung:
https://onesmarthome.de/lokale-sprac...-und-snips-ai/

Wobei ich das angebotene maker-kit für 99€ auch sehr interessant finde.

Gruß,

[crewo]

Ist das nicht auch beim ProKNX realknx Air im Einsatz?

[mmarkus]

An sowas wäre ich sehr interessiert, über steigt aber mein können um Längen

[multimedia]

Ist das nicht auch beim ProKNX realknx Air im Einsatz?

Ja, richtig. Wir verwenden Snips!
Bei uns ist es direkt über die Produktdatenbank in der ETS konfigurierbar.
Im Augenblick auch noch zum Einführungspreis zu haben. Auch Mikro/Lautsprechereinheit ist über unseren Shop beziehbar.
Siehe https://proknx.com/realknx-de

[saegefisch]

In dem Zusammenhang sei auch auf einen Artkel in der c't verwiesen bzw. das dort besprochene Projekt - auch spannend, wie ich finde:
c't 18/2018 | S. 72 | " Spracherkennung für alle / Mozillas Projekte Common Voice und DeepSpeech"
und ein wenige frei zugängliches Material zum Artikel: http://ct.de/ygun

[g0bi]

Ich finde das Thema auch sehr interessant, hat sich hier schon jemand mit edomi versucht?

[g0bi]

So Hardware bestellt, ich schau mir das mal an...

[mmarkus]

Bitte unbedingt berichten, merci

[DerSeppel]

So Hardware bestellt, ich schau mir das mal an...

Welche Hardware hast du denn bestellt? ProKNX?

[g0bi]

DerSeppel

ich hab ein RaspberryPi bestellt und ein Seeed ReSpeaker 6-mic Circular Array Kit als Mikrofon. Micro ist leider noch nicht da

[g0bi]

Alsooo, RaspberryPi 3 B+ ist aufgesetzt, Snips ist installiert. Ein Mikro und Lautsprecher zum testen habe ich auch gefunden. Das Gerät reagiert schonmal erfreulich gut auf "Hey Snips"... Das ist das das voreingestellte "Wake Word" und wird mit einem Ton Quitiert. Nun kann man loslegen und eine Befehl sagen wie "Schalte Licht im Wohnzimmer ein"

Hier passiert nun erstmal garnichts, denn Snips braucht, soweit ich es verstanden habe eine App, welche den gesprochenen Text anhand von Vorgaben interpretiert.
Hierzu muss man erstmal Überkategorienen bzw. Vorhaben (intent) definieren wie z.B. Lampenanschalten oder Lampenausschalten. Diese "Intent´s" erhalten dann Slots, soetwas wie Variablen welche als Typen wie Lokation oder Zahlen oder Farben angelegt und einzelne Werte enthalten können, wie z.B. be lokation: Wohnzimmer, Toilette, Esszimmer etc. Um nicht ganz wie ein Roboter klingen zu müssen, kann man den Slots auch noch Synonyme mitgeben, wie z.B. bei Toilette: Klo; WC; Sch..haus, wasauchimmer...

Nun hat man z.B. die ganzen einzelnen Räume und deren Synonyme angelegt, hat bei den Intents einige Zahlenwerte, Lokation und die einzelnen Geräte (Lampen, welche natürlich auch Synonyme enthalten könnten, wie Lampe/Schreibtischlampe,Strahler etc.)


Nun erstellt man sich Massenweise Trainingsexamples (Wie z.B.Ich möchte das Licht im Bad auf einundfünfzig Prozent)
Hier haben wir zum einen die Lokation (Bad) und einen Wert (einundfünzig).

Als nächsten Schritt muss man Edomi MQTT fähig machen, da dies das Protokoll für die Übertragung der Befehle ist. Hier musste ich mich erstmal grundlegend ein wenig in MQTT einabeiten um zu verstehen was ein Publisher ist, was ein Subscriber ist und was Topics sind. und welche LBS ich hierfür verwenden könnte. Grundsätzlich kann ich so per MQTT schonmal in Licht ein und ausschalten (Manuell) und nun kommen wir zum Problem.

die Sogenannten SNIPS Apps rufen entweder von der Community entworfene oder auf github veröffentliche Codeschnipsel auf die dann den Befehl senden, das Licht bitte einzuschalten. Hier hat natürlich noch niemand was für edomi gemacht. Alternativ kann man ein Pythonscript erstellen. Leider bin ich jetzt nicht der Programmierguru und hoffe hier auf die Hilfe von anderen, welche sich auch damit auseinandersetzen wollen.

Soweit erstmal..

[DerSeppel]

Puh, wieder ein Projekt, ...
Ich werde mal versuchen mich einzulesen.

Python klingt insofern schon mal nicht schlecht, als dass es da schon mal was für smarthome.py gab.
Da hat man im Prinzip nur die Google API verwendet um aus gesprochenem Text zu machen.
Das Python hat dann die Aktionen zugewiesen und getriggert, vielleicht finde ich das nochmal.

[Nanosonde]

Auch ich habe nun meine ersten Gehversuche hinter mir und bin begeistert.
Ich nutze ebenfalls einen RPi 3B+ mit einem Matrix Voice Modul (ESP32-Version)
Die Einrichtung war erstaunlich einfach.

Die Erkennungsleistung ist subjektiv mind. genauso gut wie bei einem Echo Dot (hatte ich bis vor kurzem, nun verkauft).

Ich habe mir das Matrix Voice Modul geholt, weil es den ESP32 drauf und ich damit das Mikrofon-Array auch ohne lokalen Raspberry Pi (ans Modul gesteckt) quasi standalone betreiben kann. Der ESP32 überträgt dann nur die Audio-Daten per MQTT an SNIPS. Der ESP32 implementiert also einen Snips Audio Server:
https://github.com/Romkabouter/Matri...Audio-Streamer
Damit hat man dann quasi schon einen ganz einfachen MCU-basierten Snips Satelliten so wie Snips.AI das selbst Ende nächstes Jahres selbst rausbringen möchte:
https://air.snips.ai/

g0bi
Muss denn jemand etwas explizit für Edomi machen?
Wenn man ganz normal auf den Snips MQTT Topics lauscht (Stichwort Hermes Protokoll) dann sieht man doch dort schon die erkannten Wörter mit der Trefferwahrscheinlichkeit.
Wichtig ist noch zu erwähnen, dass man wirklich Apps hinzufügen muss, um den Wortschatz der Spracherkennung (ASR-Automatic Speech Recognition) zu erweitern.
Nach jedem Hinzufügen einer Snips App wird nämlich auch das ASR-Modell neu generiert, um dann die neuen Wörter erkennen zu können.
Das ist schonmal die Grundlage, um einen erkannten Text zur Sprache auch per MQTT bekommen zu können.
Danach kommt dann das Modul Snips-NLU zum Einsatz, was dann die Intents usw. generiert und per Wahrscheinlichkeitswert angibt, wie sicher ein Intent ist.

UPDATE: nicht jede Snips App hat auch Actions!
https://docs.snips.ai/guides/console...onsole/actions

[wintermute]

Es hoert nie auf, staendig muss man irgendwelche neuen Projekte verfolgen!
Koennt ihr solche Sachen nicht fuer euch behalten?