Snips AI Offline Spracherkennung in Edomi

[ThomasCologne]

Also ganz komisch irgendwie.

Hab mal beide LBS auf Debug 9 gesetzt.
In beiden logs wird auch was geschrieben. Selbst im snips log erkennt er die payloads.

Allerdings wirft der 19001054 komische Fehlermeldungen raus. Allerdings hat er auch 2 von 2 payloads erkannt.

2019-10-16 21:43:03    280174    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:09    286259    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:11    324049    26054        EXE19001054 [v0.2.4]: Topic: hermes/intent/thomascologne:switch - Payload: {"sessionId":"c491c4e1-83a2-48c7-9b9a-99768d5bf35f","customData":null,"siteId":"default","input":"mache terasse on","asrTokens":[[{"value":"mache","confidence":0.8221185,"rangeStart":0,"rangeEnd":5,"time":{"start":0.0,"end":0.9865423}},{"value":"terasse","confidence":0.72642577,"rangeStart":6,"rangeEnd":13,"time":{"start":0.9973686,"end":1.6772935}},{"value":"on","confidence":0.7976743,"rangeStart":14,"rangeEnd":16,"time":{"start":1.68,"end":2.52}}]],"asrConfidence":0.78099895,"intent":{"intentName":"thomascologne:switch","confidenceScore":1.0},"slots":[{"rawValue":"terasse","value":{"kind":"Custom","value":"Draußen"},"alternatives":[],"range":{"start":6,"end":13},"entity":"Device","slotName":"Device","confidenceScore":0.72642577},{"rawValue":"on","value":{"kind":"Custom","value":"On"},"alternatives":[],"range":{"start":14,"end":16},"entity":"OnOff","slotName":"OnOff","confidenceScore":0.7976743}],"alternatives":[{"intentName":null,"confidenceScore":0.026312891,"slots":[]}]} (1895)
2019-10-16 21:43:15    292277    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:21    298222    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:21    419261    26054        EXE19001054 [v0.2.4]: Topic: hermes/intent/thomascologne:switch - Payload: {"sessionId":"b83ff3cb-3194-479c-bc9b-b0119de985ba","customData":null,"siteId":"default","input":"schalte terrasse ein","asrTokens":[[{"value":"schalte","confidence":0.9626037,"rangeStart":0,"rangeEnd":7,"time":{"start":0.0,"end":0.8085871}},{"value":"terrasse","confidence":0.5969799,"rangeStart":8,"rangeEnd":16,"time":{"start":0.8174924,"end":1.6134166}},{"value":"ein","confidence":0.9843251,"rangeStart":17,"rangeEnd":20,"time":{"start":1.62,"end":2.31}}]],"asrConfidence":0.8270186,"intent":{"intentName":"thomascologne:switch","confidenceScore":1.0},"slots":[{"rawValue":"terrasse","value":{"kind":"Custom","value":"Außen"},"alternatives":[],"range":{"start":8,"end":16},"entity":"Device","slotName":"Device","confidenceScore":0.5969799},{"rawValue":"ein","value":{"kind":"Custom","value":"On"},"alternatives":[],"range":{"start":17,"end":20},"entity":"OnOff","slotName":"OnOff","confidenceScore":0.9843251}],"alternatives":[{"intentName":null,"confidenceScore":0.036881763,"slots":[]}]} (1895)
2019-10-16 21:43:27    304774    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:33    310991    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:39    317429    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:45    324002    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:51    330507    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)
2019-10-16 21:43:57    337462    26033    debug    EXE19001054 [v0.2.4]: Exception caught: The client is not currently connected. (298)

hier der Debug vom snips-LBS:

2019-10-16 21:43:11    410342    25990        LBS19000426 [vv20190113]: LBS: Payload changed to {"sessionId":"c491c4e1-83a2-48c7-9b9a-99768d5bf35f","customData":null,"siteId":"default","input":"mache terasse on","asrTokens":[[{"value":"mache","confidence":0.8221185,"rangeStart":0,"rangeEnd":5,"time":{"start":0.0,"end":0.9865423}},{"value":"terasse","confidence":0.72642577,"rangeStart":6,"rangeEnd":13,"time":{"start":0.9973686,"end":1.6772935}},{"value":"on","confidence":0.7976743,"rangeStart":14,"rangeEnd":16,"time":{"start":1.68,"end":2.52}}]],"asrConfidence":0.78099895,"intent":{"intentName":"thomascologne:switch","confidenceScore":1.0},"slots":[{"rawValue":"terasse","value":{"kind":"Custom","value":"Draußen"},"alternatives":[],"range":{"start":6,"end":13},"entity":"Device","slotName":"Device","confidenceScore":0.72642577},{"rawValue":"on","value":{"kind":"Custom","value":"On"},"alternatives":[],"range":{"start":14,"end":16},"entity":"OnOff","slotName":"OnOff","confidenceScore":0.7976743}],"alternatives":[{"intentName":null,"confidenceScore":0.026312891,"slots":[]}]}
2019-10-16 21:43:11    412110    25990        LBS19000426 [vv20190113]: LBS: Intent switch
2019-10-16 21:43:11    413369    25990        LBS19000426 [vv20190113]: LBS: Slot Device has index of 0
2019-10-16 21:43:11    414877    25990        LBS19000426 [vv20190113]: LBS: Slot OnOff has index of 1
2019-10-16 21:43:11    416064    25990        LBS19000426 [vv20190113]: LBS: Slot Device has value Draußen
2019-10-16 21:43:11    417207    25990        LBS19000426 [vv20190113]: LBS: Slot OnOff has value On
2019-10-16 21:43:11    418495    25990        LBS19000426 [vv20190113]: LBS: Loop device E10: terasse
2019-10-16 21:43:11    419770    25990        LBS19000426 [vv20190113]: LBS: Loop device synonym: terasse
2019-10-16 21:43:21    457815    25990        LBS19000426 [vv20190113]: LBS: Payload changed to {"sessionId":"b83ff3cb-3194-479c-bc9b-b0119de985ba","customData":null,"siteId":"default","input":"schalte terrasse ein","asrTokens":[[{"value":"schalte","confidence":0.9626037,"rangeStart":0,"rangeEnd":7,"time":{"start":0.0,"end":0.8085871}},{"value":"terrasse","confidence":0.5969799,"rangeStart":8,"rangeEnd":16,"time":{"start":0.8174924,"end":1.6134166}},{"value":"ein","confidence":0.9843251,"rangeStart":17,"rangeEnd":20,"time":{"start":1.62,"end":2.31}}]],"asrConfidence":0.8270186,"intent":{"intentName":"thomascologne:switch","confidenceScore":1.0},"slots":[{"rawValue":"terrasse","value":{"kind":"Custom","value":"Außen"},"alternatives":[],"range":{"start":8,"end":16},"entity":"Device","slotName":"Device","confidenceScore":0.5969799},{"rawValue":"ein","value":{"kind":"Custom","value":"On"},"alternatives":[],"range":{"start":17,"end":20},"entity":"OnOff","slotName":"OnOff","confidenceScore":0.9843251}],"alternatives":[{"intentName":null,"confidenceScore":0.036881763,"slots":[]}]}
2019-10-16 21:43:21    459650    25990        LBS19000426 [vv20190113]: LBS: Intent switch
2019-10-16 21:43:21    460871    25990        LBS19000426 [vv20190113]: LBS: Slot Device has index of 0
2019-10-16 21:43:21    462027    25990        LBS19000426 [vv20190113]: LBS: Slot OnOff has index of 1
2019-10-16 21:43:21    465527    25990        LBS19000426 [vv20190113]: LBS: Slot Device has value Außen
2019-10-16 21:43:21    466716    25990        LBS19000426 [vv20190113]: LBS: Slot OnOff has value On
2019-10-16 21:43:21    467981    25990        LBS19000426 [vv20190113]: LBS: Loop device E10: terasse
2019-10-16 21:43:21    469206    25990        LBS19000426 [vv20190113]: LBS: Loop device synonym: terasse

So richtig weiterbringen tuen die logs mich nun nicht? Denn an der Ausgangsbox des snips kommt immer noch nichts an:

11.JPG


Oder fällt euch was auf??

[eghetto]

Oder fällt euch was auf??

Wert "on" hast du nicht in der Liste deiner Synonyme. Die beiden slot-values hast du wahrscheinlich "On" und "Off" benannt.

[ThomasCologne]

Wert "on" hast du nicht in der Liste deiner Synonyme. Die beiden slot-values hast du wahrscheinlich "On" und "Off" benannt.

Jein. Beim ersten Beispiel hat er "on" erkannt, obwohl in "ein" gesagt habe. Beim zweiten (mit sessionId":"b83ff3cb-3194-479c-bc9b-b0119de985ba)
ist aber zu erkennen, dass er auch den value "ein" erkannt hat.

In der snips console hab ich es der Einfachheit halber zunächst einmal so benannt:
11.JPG


edit: nochmal den snips intent dazu:
12.JPG

[eghetto]

Im Screeshot von deinem LBS sieht man aber, dass "On" nicht in der Liste (E6) enthalten ist - bei "Off" (E7) ist das genauso. Am Besten auf "Export" in der Console gehen und den gesamten Inhalt in die Eingänge (E6/E7) einfügen. Das ist für den späteren Abgleich innerhalb des LBS wichtig.

[ThomasCologne]

JETZT hab ich´s gerafft !!!!

Es muss nicht nur das synonym, sondern auch der value an E6/E7 anliegen! Denn zuvor hatte ich an E6/E7 nur die synonyme anliegen.

Das kuriose dabei, dass der watch-log genau das selbe wie vorher ausgibt, nun allerdings mit einer Reaktion im LBS!

[00:10:31] [Hotword] detected on site default, for model hey_snips
[00:10:31] [Asr] was asked to stop listening on site default
[00:10:31] [Hotword] was asked to toggle itself 'off' on site default
[00:10:31] [Dialogue] session with id '345a0599-9d0a-4fc3-81e0-48e1dd02441c' was started on site default
[00:10:31] [Asr] was asked to listen on site default
[00:10:35] [Asr] captured text [B]"terasse ein"[/B] in 3.0s
[00:10:35] [Asr] was asked to stop listening on site default
[00:10:35] [Nlu] was asked to parse input "terasse ein"
[00:10:35] [Nlu] detected intent thomascologne:switch with confidence score 1.000 for input "terasse ein"
              Slots ->
                 Device -> Draußen (confidence: 0.628)
                  OnOff -> On (confidence: 0.670)
[00:10:35] [Dialogue] New intent detected thomascologne:switch with confidence 1.000
              Slots ->
                 Device -> Draußen (confidence: 0.628)
                  OnOff -> On (confidence: 0.670)
[00:10:41] [Dialogue] session with id '345a0599-9d0a-4fc3-81e0-48e1dd02441c' was ended on site default. The session timed out because its continuation or termination was not handled by any running action code.
[00:10:41] [Asr] was asked to stop listening on site default
[00:10:41] [Hotword] was asked to toggle itself 'on' on site default

Hier die korrekte Ausgabe:
11.JPG

Aber damit kann ich arbeiten!

Besten Dank für den Hinweis !!!

Jetzt gilt es nur noch, Snips per action auch "reden" zu lassen. Aber das scheint mit der aktuellen 0.64 noch eine gaaaanz andere Baustelle zu sein.

......

[Audio Server] reported an error on site default : An error happened while trying to play some audio

.....

[hapi]

Hi, sorry, dass ich hier keine Zeit hatte zu supporten. D.h. der LBS funktioniert auch noch mit der neuesten Snips Version?

[vento66]

Ich habs gerade mit Centos7 und Edomi 2 zum Laufen gebracht.... Also alles frisch installiert. Sollte dann alles auf Letztstand sein

[ThomasCologne]

... auch noch mit der neuesten Snips Version

Habe auch die snips 0.64.0 drauf. Damit läuft die Erkennung.

Service status:
snips-asr .................... 0.64.0 (running)
snips-audio-server ........... 0.64.0 (running)
snips-dialogue ............... 0.64.0 (running)
snips-hotword ................ 0.64.0 (running)
snips-nlu .................... 0.64.0 (running)
snips-skill-server ........... 0.64.0 (running)
snips-tts .................... 0.64.0 (running)

Nur bei der soundwiedergabe hab ich noch Probleme. Da gibt es ein workaround zum downgrade zur Version 0.63.3. Aber so richtig funktionioren tut´s bei mir noch nicht mit der Sprachausgabe. Eigentlich gar nicht

[00:25:39] [AudioServer] was asked to play a wav of 41.1 kB with id '5f6a1aae-e379-4e2b-ac90-a3d4f7c5d132' on site default
[00:25:49] [Audio Server] reported an error on site default : An error happened while trying to play some audio
[00:25:54] [Dialogue] session with id '52fce729-7b07-43b1-a861-160b7f9e98ce' was ended on site default. The session timed out because the Audio Server component did not respond in a timely manner. Please ensure that the snips audio server is started and running correctly.

[vento66]

Hm, das ist doch nur der Bestätigungston.....

[10:58:53] Watching on localhost:1883 (MQTT)
[10:58:58] [Hotword] detected on site default, for model hey_snips
[10:58:58] [Asr] was asked to stop listening on site default
[10:58:58] [Hotword] was asked to toggle itself 'off' on site default
[10:58:58] [Dialogue] session with id '10ff17cf-9f0f-41a6-baf7-b8c8098baed0' was started on site default
[10:58:58] [AudioServer] was asked to play a wav of 41.1 kB with id '5d7664e2-ccb8-4a37-ba45-0cc743978f6f' on site default
[10:58:58] [AudioServer] finished playing wav with id '5d7664e2-ccb8-4a37-ba45-0cc743978f6f'
[10:58:58] [Asr] was asked to listen on site default
[10:59:01] [Asr] captured text "schalte das licht in der küche aus" in 3.0s
[10:59:01] [Asr] was asked to stop listening on site default
[10:59:01] [AudioServer] was asked to play a wav of 93.1 kB with id '688085a5-958d-4462-9536-a749ddb1a528' on site default
[10:59:02] [AudioServer] finished playing wav with id '688085a5-958d-4462-9536-a749ddb1a528'
[10:59:02] [Nlu] was asked to parse input "schalte das licht in der küche aus"
[10:59:02] [Nlu] detected intent domi:LampenAusSchalten with confidence score 1.000 for input "schalte das licht in der küche aus"
              Slots ->
                 deviceLocation -> Küche (confidence: 1.000)
[10:59:02] [Dialogue] New intent detected domi:LampenAusSchalten with confidence 1.000
              Slots ->
                 deviceLocation -> Küche (confidence: 1.000)
[10:59:08] [Dialogue] session with id '10ff17cf-9f0f-41a6-baf7-b8c8098baed0' was ended on site default. The session timed out because its continuation or termination was not handled by any running action code.
[10:59:08] [Asr] was asked to stop listening on site default
[10:59:08] [Hotword] was asked to toggle itself 'on' on site default

Hat ja auch erst mal nichts mit dem LBS zu tun.

[ThomasCologne]

Hat ja auch erst mal nichts mit dem LBS zu tun.

Korrekt ...
Auf welchem System läuft es bei dir mit welcher snips version?
Soundwiedergabe ohne Probleme? Zumindest der beep-ton scheint ja zu funktionieren.

[vento66]

Raspi 3B+ mit stretch 4.14.83v7. Hatte ich noch irgendwo gefunden. Auf Buster läuft es ja meine Wissens nach noch nicht.

[ThomasCologne]

Ja, Buster ist derzeit noch außen vor. Die "alten" raspbian gibt´s hier:

http://downloads.raspberrypi.org/raspbian/images/

Welche Snips Version läuft dort, bzw. könntest du bei Gelegenheit mal die asound.conf posten?

[DJ.Picasso]

Hallo zusammen,

ich habe zwar kein EDOMI im Einsatz, jedoch Snips.

Vielleicht hier einige Infos, die dem einen oder anderem im Zusammenhang der json-info von Snips nicht aufgefallen sind. ThomasCologne

Wenn Du bei Snips einen Sprachbefehl absetzt, dann wird im "Slot" immer der Wert verschickt, der als Haupt-Value eingetragen wurde, auch wenn eines der Synonyme genannt wurde!!
001.png
Daher wird auch bei ThomasCologne oben on geliefert - das wird auch immer so sein. Außer Du setzt als Value "ein" und sagst dann on, anschalten, einstellen oder was auch immer.

Ergänzung:
Ach ja, ich habe 0.64 als Version, bei mir läuft jedoch die Sprachausgabe über Snips. Wie gesagt, ich habe aber eine komplett andere Infrastruktur.
Bei mir läuft Snips auf Pi 3+ mit MQTT auf einen 2-ten PI (4) mit HASSIO. Per HASSIO stelle ich dann die Antworten ein und schicke sie auf den Snips-Pi.

Ciao
Der DJ

[ThomasCologne]

In der Tat, das war mir zuvor auch nicht ganz klar, dass er immer den value sendet.

Aber OnOff mit 1/0 senden funktioniert nun.
Heute habe ich mich allerdings ran gemacht, auch Zahlenwerte zu senden.
Dabei brech ich mir gerade noch einen ab! Keine Konstellation hat bisher funktioniert.

Hatte als slots schon angelegt "snips/number", "snips/percentage" und einen custom mit "number", jeweils im intent switch.
Auch einen neuen intent angelegt, ebenfalls ohne Erfolg.

Die derzeitige Konstellation schaut wie folgt aus:
b.JPG

a.JPG

Der watch gibt auch einen value aus:

[17:35:57] [Hotword] detected on site default, for model hey_snips
[17:35:57] [Asr] was asked to stop listening on site default
[17:35:57] [Hotword] was asked to toggle itself 'off' on site default
[17:35:57] [Dialogue] session with id '9b46f807-4a88-45a5-b7bd-57ecda910762' was started on site default
[17:35:57] [Asr] was asked to listen on site default
[17:36:00] [Asr] captured text "wohnen sieben" in 2.0s
[17:36:00] [Asr] was asked to stop listening on site default
[17:36:00] [Nlu] was asked to parse input "wohnen sieben"
[17:36:00] [Nlu] detected intent thomascologne:switch with confidence score 1.000 for input "wohnen sieben"
              Slots ->
                 [COLOR=#0000FF]Device -> Wohnzimmer[/COLOR] (confidence: 1.000)
                 [COLOR=#FF0000]number -> 7[/COLOR] (confidence: 1.000)
[17:36:00] [Dialogue] New intent detected thomascologne:switch with confidence 1.000
              Slots ->
                 Device -> Wohnzimmer (confidence: 1.000)
                 number -> 7 (confidence: 1.000)
[17:36:05] [Dialogue] session with id '9b46f807-4a88-45a5-b7bd-57ecda910762' was ended on site default. The session timed out because its continuation or termination was not handled by any running action code.
[17:36:05] [Asr] was asked to stop listening on site default
[17:36:05] [Hotword] was asked to toggle itself 'on' on site default

Aber als Resultat schaltet er beim LBS nur auf "1" anstatt den value.
c.JPG

Woran kann das liegen?

[DJ.Picasso]

Hi Thomas,

wie schon gesagt, ich habe kein Edomi und kann Dir daher nicht sagen, wie das jetzt im Einzelnen funktioniert. Bei der Snips Konfig solltest Du aber noch etwas "optimieren".

Um ein besseres Verständnis zu bekommen:

1. Slots und Slot-Types sollten nicht denselben Namen haben!! Das wirst Du spätestens merken, wenn Du nicht nur Licht sondern auch Rollo, Media, Heizung, Klima usw. steuern willst. Also am besten, Slots immer identisch zu den anderen Befehlen in Deiner App. Slot-Types speziell auf die Entität ausgerichtet (Licht, Heizung, Rollo usw.)
   002.png
2. Wenn Du dies umgesetzt hast, dann wirst Du auch sehr schnell sehen, wie Snips das übertragene json-Format aufbaut. Wenn Du bei Deinen Apps eine Standard-Struktur realisierst, dann brauchst Du nur 1 x etwas entwickeln und kannst alles für jede Entität übernehmen!
   - Bei mir ist die Struktur daher immer auf: dj_location, dj_entity, dj_type und dj_value ausgelegt.
   - Nur die Slot-Types sind dann anders, da sie auch andere Werte enthalten: dj_locationlight (Licht-Lokationen), dj_locationcover (Rollo-Lokationen), dj_locationsonos usw.
3. Im folgenden Beispiel ist Beleuchtung das Synonym und Licht das Value, dass immer übertragen wird und daher auch viel besser auswertbar ist!!!
   Bsp. ist auch buero das Value, damit umgehe ich bsp. die Umlauteprobleme, da sichergestellt ist, dass kein Umlaut im json als Value übertragen wird.
   
   

   {"input": "die beleuchtung im büro an der tür auf siebzig prozent dimmen",
   	 "intent": {"intentName": "DJPicasso:djsmarthomelighton","confidenceScore": 1},
   	 "slots": [{"rawValue": "[B]beleuchtung[/B]","value": {"kind": "Custom","value": "[B]Licht[/B]"},
   	     "range": {"start": 4,"end": 15},
   	     "entity": "dj_entitylight",
   	     "slotName": "dj_entity"},
   	   {"rawValue": "büro","value": {"kind": "Custom","value": "buero"},
   	     "range": {"start": 19,"end": 23},
   	     "entity": "dj_locationlight",
   	     "slotName": "dj_location"},
   	   {"rawValue": "tür","value": {"kind": "Custom","value": "tuer"},
   	     "range": {"start": 31,"end": 34},
   	     "entity": "dj_typelight",
   	     "slotName": "dj_type"},
   	   {"rawValue": "siebzig","value": {"kind": "Number","value": 70},
   	     "range": {"start": 39,"end": 46},
   	     "entity": "snips/number",
   	     "slotName": "dj_value"}]}

4. Du solltest auf jeden Fall für Nummer und Prozent usw. die snips/number, snips/percentage usw. nehmen. Erst einmal ist dann sichergestellt, dass Dein "confidenceScore" so hoch wie möglich ist und die Nummer auch entsprechend erkannt werden.
5. On und Off Befehle solltest Du trennen! Am Besten 1 Intent für ON und einen für OFF
   003.png
6. Und zu guter Letzt: Am besten soviele Beispiele, wie es nur geht. Es ist dabei nicht wichtig, ob die Syntax der Sätze Sinn ergibt, sondern es ist lediglich wichtig, dass das "Neuronale Netzwerk" von Tract möglichst optimal durch Deine Beispiele lernt!
   Ich habe mir dafür eine Excel-Datei erstellt, die mir die Sätze "automatisch" generiert in verschiedenen Strukturen. Damit ist dann auch so etwas möglich:
   "Hey Snips, das Lied finde ich blöd" (=> Im entsprechenden Raum wird auf dem Sonos Player der nächste Song gespielt)!

Ach ja, ich gehe mal davon aus, EDOMI verfügt über MQTT Funktionen, daher der Versuch von Snips aus direkt an EDOMI zu gehen.
Da ich Gira HS im Einsatz habe geht dies erst einmal nicht, da MQTT Unterstützung fehlt. Ich gehe daher über HASSIO auf KNX.
Wie gesagt, Nachteil ist, dass ich nicht über den HS gehen kann. Der Vorteil ist jedoch, man hat auf diese Weise gleich einen Backup. Falls der Server mal streikt kann man immer über die Sprachsteuerung noch alles machen .

Ciao
Der DJ