Absturzuntersuchung

[android]

Bei mir hat sich gestern mein System "aufgehangen". Meine anschließende Untersuchung hat mich leider nicht weiter gebracht.

Bei mir läuft die aktuelle Master branch Version auf einem Intel Nuc mit Ubuntu 18.04 nur das SML-Plugin ist aus dem Devleop branch .

In den Logs war keine Fehlermeldung, die letzten Meldungen waren Warnings wegen eines Lesefehler des Sml-Plugins (s. https://knx-user-forum.de/forum/supp...enfehler/page2 ) .

Die Backend Plugin Seiten waren nicht mehr zu erreichen.

Per Telnet localhost 2323 konnte ich zwar connecten, aber dort keinen Befehl absetzen.

Laut "ps ax|grep bin/smarthome" war smarthomeng noch am laufen.

Was kann ich mir in einem solchen Fall noch anschauen, um die Fehlerursache zu finden?

Ich vermute einen Zusammenhang mit dem sml-plugin, vorher hatte ich solche Probleme eigentlich nicht, wobei das jetzt auch schon länger so lief.

Wie kann ich einen automatischen restart von smarthomeng bei einem solchen Problem auslösen?


Danke für eure Hilfe!

[malte]

Ich hatte in der Vergangenheit ähnliche Probleme. Damals lief SmarthomeNG auf meiner - Non-Intel - Synology. Teilweise innerhalb weniger Tage, teilweise auch erst nach 2-3 Wochen, war SmarthomeNG einfach tot. Keine Reaktion mehr. Logfile stand einfach, nichts auffälliges zu sehen.

Jetzt läuft es auf einem alten Laptop, Intel-Prozessor, im Docker-Container. Bisher gab es keine Ausfälle. Bin allerdings gerade fleißig am Basteln, so dass ich SmarthomeNG alle paar Tage neustarten muss.

[whe]

Wie kann ich einen automatischen restart von smarthomeng bei einem solchen Problem auslösen?

ich hatte das HUE Problem mit der wundersamen Thread Vermehrung und habe daraufhin folgende Logik implementiert:

# Thread Monitoring
import os
if sh.env.core.threads() > 50 :
 os.system("sudo /bin/systemctl restart smarthome")
 logger.info('SmartHomeNG neu gestartet')

aber, wie Du Deine Situation erkennen könntest weiss ich nicht.

[smai]

Wie kann ich einen automatischen restart von smarthomeng bei einem solchen Problem auslösen?

Dazu müsste man fast eine Überwachung von aussen (also mindestens ausserhalb des SHNG-Prozesses) einrichten.

Die Frage ist dann noch, wie man einen Hänger erkennt bzw. definiert.
Die Erreichbarkeit des Backend-GUI (komische Wortkombination...) dürfte mit einem eigenen Script relativ einfach zu prüfen sein, dafür gibt es aber auch diverse Tools.
Allerdings kann das ja noch funktionieren, aber trotzdem ein entscheidender Teil blockiert sein.

Noch weitreichender wäre eine Prüfung über dein "Haupt-Kommunikationssystem" (also z.B. KNX). Damit würde auch nicht nur SHNG überwacht sondern der ganze Stack (z.B. knxd, Netzwerkschnittstelle, Betriebssystem, ...). Kommt keine Antwort mehr, könnte der ganze Host neu gestartet werden.

Wenn jemand Zeit dafür hat, wäre es sicher interessant, da eine Beispiellösung aufzubauen und zu teilen.

[Onkelandy]

Ich nutze bei meinem Raspi Image den (Hardware) Watchdog, der neu startet, wenn das Gesamtsystem überlastet ist. Außerdem monit, um zu checken, ob zB eine URL ansprechbar ist oder ein Programm wiederum zu viel Ressourcen frisst (zB CPU > 20%). Ebenso werden andere Prozesse überwacht und neu gestartet, falls sie nicht mehr laufen.

Hier wär die monit config, das könnte man aber natürlich noch erweitern: https://github.com/smarthomeNG/ansib...onfigs/monitrc

[android]

Danke schonmal für die Infos. Wäre schön wenn ich das Problem finden könnte, auch wenn ich die Watchdogvorschläge einbauen werde.

Scheint bei mir tatsächlich auch ein Threadproblem zu sein. Habe zumindest aktuell 68 aktive Threads und das trotz deaktiviertem sml-Plugin.

Was bedeutet ein Thread bei smarthomeNG? Wie viele sind da so normal?

[Msinn]

Normal sind bei mir so 30 bis 38. Hast Du eine Warnung zu Threads im SmartHomeNG Log?

[Bonze]

ich hab das gleiche Problem, allerdings hängt dies zu 80% an dem SMl plugin, jedoch hab ich nicht die aktuelleste Version am laufen,
es werden so viele Threads gestartet, dass das Backend oder Smartvisu nicht mehr erreichbar ist. Nach nem neustart des services alles wieder io

[android]

Nein im Log ist keine Warnung.

Werde heute abend, wenn ich zuhause bin, mal mit root Loglevel info testen. Dann wird ja glaube beim Starten eines Threads ein Log erstellt.

Hatte gestern nur beim stoppen vom smarthome service eine Warnung, dass einige Threads noch aktiv sind. Habe einen reboot ohne sml-Plugin gemacht und trotzdem sinds 68 aktive Threads.

Ansonsten habe ich avm, backend, cli, influxdb, SMA modbus, sonos, sql, telegram, uzsu, smartvisu am laufen. Vielleicht macht davon ja noch ein Plugin Probleme.

[Msinn]

Werde heute abend, wenn ich zuhause bin, mal mit root Loglevel info testen

Brauchst Du nicht. Das kommt als Warnung.

Wo siehst Du die Zahl 68 für die Threads?

Je nach Konfiguration belegt z.B. CherryPy schon gern mal 18 Threads. Die darfst Du dabei nicht mitzählen, die hat SmartHomeNG nicht erzeugt, sondern die sind von einem Python Package erzeugt.

[android]

Das war gestern, heute sinds 68...

[Msinn]

Die ganzen namenlosen Threads deuten auf ein unsauberes Plugin bzw. auf die Nutzung eines Python Packages durch ein Plugin, welches nicht sauber agiert.

Diese Threads lassen sich häufig nicht sauber beenden beim Runterfahren von SmartHomeNG. Dieses wird von SmartHomeNG dann im Log vermerkt.

[Msinn]

Bei mir sieht das z.B. so aus. Wobei ich mir die Herkunft des einen namenlosen Thread bei mir auch noch mal anschauen muss.

[android]

Gibts eine andere Möglichkeit rauszufinden welches Plugin bzw. Package verantwortlich ist, außer Plugin deaktivieren und ausprobieren?

[android]

Hauptproblem scheint das Sonos Plugin zu sein. Ohne das habe ich nur noch 34 Threads. Das SML-Plugin erzeugt offenbar (zumindest nach halber Stunde) gar keinen weiteren Thread. Die oberen 4 nicht benannten Threads in meinem Screenshot in meinem Post #11 kommen aus dem Telegram-Plugin, der ganze Rest vom Sonos Plugin