SmarthomeNG 1.8.2 funktioniert fehlerhaft mit knxd

[SmokyHood]

Hallo Zusammen,

ich habe aktuell ein Problem mit meinem SmarthomeNG. Nachdem ich alle Syteme (knxd v0.14.39, SmartHomeNG v1.8.2, smartVISU v3.0) upgedated hatte ist mir aufgefallen, dass die admin-Seite von SmartHomeNG nicht mehr richtig angezeigt wird. Nach einigen Versuchen konnte ich auch feststellen, dass ohne laufenden knxd SmarthomeNG zwar problemlos läuft, jedoch leider auch ohne knx-Zugriffsmöglichkeiten. Sobald knxd gestartet wird, bekomme ich im SmarhomeNG log auch folgenden Eintrag:

ERROR logics.env_stat Logic: logics.env_stat, File: /usr/local/lib/python3.7/site-packages/psutil/_psbsd.py, Line: 181, Method: virtual_memory, Exception: [Errno 12] Cannot allocate memory (originated from sysctl(CTL_VM | VM_METER))
Traceback (most recent call last):
File "/usr/local/smarthome/lib/scheduler.py", line 640, in _task
exec(obj.bytecode)
File "/usr/local/smarthome/lib/env/stat.py", line 42, in <module>
sysmem_info = psutil.virtual_memory()
File "/usr/local/lib/python3.7/site-packages/psutil/__init__.py", line 1963, in virtual_memory
ret = _psplatform.virtual_memory()
File "/usr/local/lib/python3.7/site-packages/psutil/_psbsd.py", line 181, in virtual_memory
mem = cext.virtual_mem()

Meine knx-config in der plugin.yaml sieht folgendermaßen aus:

knx:
    plugin_name: knx
    plugin_enabled: true
    host: 127.0.0.1
    port: 6720
    send_time: 600 # update date/time every 600 seconds, default none
    time_ga: x/x/x # default none
    date_ga: x/x/x # default none
    busmonitor: off # log all knx messages, default off
    readonly: false # don't write to knx bus, default False
    enable_stats: true # default: false
    projectpath: /var/knx

Meine knxd.conf:

[main]
addr = 0.0.1
client-addrs = 0.0.2:4
connections = server.ets,interface.ipt,server.unix,server.tcp
cache = B.cache
pidfile = /var/run/knxd.pid
background = true
logfile = /var/log/knxd/knxd.log

[interface.ipt]
driver=ipt
filters=queue,single
ip-address=xxx.xxx.xxx.xxx
dest-port=3671

[server.ets]
server=ets_router
discover=true
debug=debug-server
router=router
tunnel=tunnel
port=3671

[router]

[debug-server]
name=mcast:knxd
#error-level=6
#trace-mask=0xFFE

[tunnel]
filters=log

[server.unix]
server=knxd_unix
path=/var/run/knxd

[server.tcp]
server=knxd_tcp
port=6720

[systemd]
error-level=fatal

Hat jemand eine Idee woran das liegen könnte?

[ElektroRudi]

Versuch es mal mit einer minimalen Configuration:

knx:
    plugin_name: knx
    # host: 127.0.0.1
    # port: 6720
    # send_time: 600 # update date/time every 600 seconds, default none
    # time_ga: 6/0/0 # default none
    # date_ga: 6/0/1 # default none
    # busmonitor: True # log all knx messages, default false
    # readonly: True ## don't write to knx bus, default false"

Steht das wirklich so drin, oder hast du die Adressen nur auskommentiert?

time_ga: x/x/x # default none
date_ga: x/x/x # default none

[Msinn]

Der Erste Eintrag im Log

ERROR logics.env_stat Logic: logics.env_stat, File: /usr/local/lib/python3.7/site-packages/psutil/_psbsd.py, Line: 181, Method: virtual_memory, Exception: [Errno 12] Cannot allocate memory (originated from sysctl(CTL_VM | VM_METER))

zeigt an, dass Python kein Memory allokieren kann. Es scheint, Du hast knxd so gestartet, dass er allen Systemspeicher alloziiert.

[SmokyHood]

@ElektroRudi:

• mit den Gruppenadressen hast du natürlich recht, hatte den Absatz aus meinem Template kopiert und die "Platzhalter" nicht angepasst. Die Config ist aber identisch mit den richtigen Adressen (eben auch nochmals geprüft).
• Die knx-minimal-Konfig liefert leider auch das gleiche Ergebnis wie bisher

Msinn:

• der knxd zeigt eine sehr moderate Arbeitsspeicherauslastung:
  • ps -auxwww liefert folgendes Ergebnis:
    USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND
    smarthome 15502 100.0 0.2 115192 67168 - SJ 20:25 0:48.98 /usr/local/bin/python3 /usr/local/smarthome/bin/smarthome.py (python3.7)
    root 15338 0.0 0.0 13728 4432 - SsJ 20:20 0:00.10 /usr/local/bin/knxd /usr/local/etc/knxd.conf
• smarthome.py hingegen verursacht dabei dauerhaft 100% CPU-Auslastung. Automatiken funktionieren teilweise, admin-Page wird aber nicht aufgebaut (siehe bestehendes Fehlerbild).

So weiteres Update:
Da mehrere Updates gleichzeitig stattgefunden hatten und die Vermutung hinsichtlich knxd als Ursache bestand, war es naheliegend die Updates soweit möglich wieder rückgängig zu machen. Für smarthomeNG hatte ich noch ein Backup, welches ich durch einfachen Befehlsaustausch im der Start-Routine des Service wieder aktivieren konnte.
Und siehe da - mit smarhomeNG 1.7.1 funktioniert eigentlich alles wie gewohnt, ohne entsprechender Fehlermeldungen.
Ich werde weiter in der sh-Config nach der Ursache suchen. Falls jemand eine Idee hat, wo ich als erstes nachsehen sollte, bitte gerne her damit.

Update 2:
sh nochmals komplett neu installiert, mit minimal-Config.
knx - Plugin disabled
smartvisu_pages - Plugin disabled

Einträge im smarthome-details.log:

2021-04-07 20:00:41 WARNING lib.smarthome.main -------------------- Init SmartHomeNG 1.8.2.master (0f462a1e) --------------------
2021-04-07 20:00:41 WARNING lib.smarthome.main Running in Python interpreter 'v3.7.9 final', from directory /usr/local/smarthome
2021-04-07 20:00:41 WARNING lib.smarthome.main - on FreeBSD-12.2-RELEASE-p3-amd64-64bit-ELF (pid=42956)
2021-04-07 20:00:41 WARNING lib.smarthome.main - Nutze Feiertage für Land 'DE', Provinz 'BY', benutzerdefinierte(r) Feiertag(e) nicht definiert
2021-04-07 20:00:41 ERROR lib.smarthome Locale for the enviroment is not set. Defaulting to en_US.UTF-8
2021-04-07 20:00:43 WARNING lib.smarthome.main -------------------- SmartHomeNG initialization finished --------------------
2021-04-07 20:00:45 WARNING modules.admin.api_server REST_dispatch_execute: info: list index out of range
2021-04-07 20:00:46 WARNING modules.admin.api_server REST_dispatch_execute: info: list index out of range
2021-04-07 20:00:57 ERROR logics.env_stat Logic: logics.env_stat, File: /usr/local/lib/python3.7/site-packages/psutil/_psbsd.py, Line: 181, Method: virtual_memory, Exception: [Errno 12] Cannot allocate memory (originated from sysctl(CTL_VM >
Traceback (most recent call last):
File "/usr/local/smarthome/lib/scheduler.py", line 640, in _task
exec(obj.bytecode)
File "/usr/local/smarthome/lib/env/stat.py", line 42, in <module>
sysmem_info = psutil.virtual_memory()
File "/usr/local/lib/python3.7/site-packages/psutil/__init__.py", line 1963, in virtual_memory
ret = _psplatform.virtual_memory()
File "/usr/local/lib/python3.7/site-packages/psutil/_psbsd.py", line 181, in virtual_memory
mem = cext.virtual_mem()
OSError: [Errno 12] Cannot allocate memory (originated from sysctl(CTL_VM | VM_METER))

Update 3:
PROBLEM SOLVED - wie Msinn richtig erkannte, lag das Problem am FreeBSD knxd Port.
Eine Neuinstallation nach der Vorlage aus dem GitHub-Forum löste das Problem.

[SmokyHood]

Msinn leider ist das Problem - wie zuvor erwähnt - nicht verschwunden, nur die Symptome blieben mit der selbst kompilierten knxd bisher aus.
Als ich heute die Log Dateien wieder durchstöberte, da der SmartHomeNG nicht so ganz rund läuft, ist mir nach wie vor folgender Log-Eintrag aufgefallen:

2021-07-25 12:53:24 ERROR logics.env_stat Logic: logics.env_stat, File: /usr/local/lib/python3.7/site-packages/psutil/_psbsd.py, Line: 181, Method: virtual_memory, Exception: [Errno 12] Cannot allocate memory (originated from sysctl(CTL_VM | VM_METER))
Traceback (most recent call last):
File "/usr/local/smarthome/lib/scheduler.py", line 640, in _task
exec(obj.bytecode)
File "/usr/local/smarthome/lib/env/stat.py", line 42, in <module>
sysmem_info = psutil.virtual_memory()
File "/usr/local/lib/python3.7/site-packages/psutil/__init__.py", line 1963, in virtual_memory
ret = _psplatform.virtual_memory()
File "/usr/local/lib/python3.7/site-packages/psutil/_psbsd.py", line 181, in virtual_memory
mem = cext.virtual_mem()
OSError: [Errno 12] Cannot allocate memory (originated from sysctl(CTL_VM | VM_METER))

Hierfür habe ich auch schon jegliche Software, welche nicht für smartHomeNG + smartVISU zwingend benötigt wird entfernt und den knxd auf einen anderen Rechner ausgelagert.
Verbleibende Software-Pakete:
- sudo
- python 3.7
- php 7.4
- smartHomeNG 1.8.2
- smartVISU 3.1.0
- nginx

Also Software-Minimal-Ausstattung, aber Fehler bleibt bestehen.

Kann das Problem evtl. an der Config des smartHomeNG liegen? Oder gibt es weitere Log-Dateien, welche hier Aufschluss geben könnten?

[Msinn]

Da SmartHomeNG bereits beim Initialisieren eine Fehlermeldung des Betriebssystems erhält, dass kein Speicher allokiert werden kann, müsstest Du schon beim Betriebssystem suchen.

Beim zurück scrollen bin ich darauf gestoßen, dass Du SmartHomeNG versuchst unter FreeBSD zu betreiben. Das ist durch uns nicht getestet und supportet. Da musst Du schon selber suchen, oder SmartHomeNG unter Linux (bevorzugt Debian) betreiben.

[SmokyHood]

Ja, das ist mir klar. Ich hoffte nur, dass du vlt. noch einen Tipp hättest, wo ich als erstes suchen könnte.
Hat sich hier seit der Version 1.7.1 an der Initialisierung etwas geändert, was einen Hinweis in Richtung Ursache liefern könnte?
Unter der 1.7.1. bekomme ich diese Meldungen nämlich nicht.

[Msinn]

Wie Dir ein Blick in den Source Code auf github verraten hätte, ist der Aufruf, der bei Dir den Fehler produziert

sysmem_info = psutil.virtual_memory()

mit SmartHomeNG v1.8 hinzugekommen, um Speichergröße und Nutzung anzeigen zu können.

Anscheinend unterstützt das Python Package psutil das unter FreeBSD nicht vernünftig.


P.S.: Ich verstehe den Zusammenhang mit knxd nicht, den Du im Thread Titel benennst.

[SmokyHood]

Msinn vielen Dank für deine Hinweise.
Bzgl. knxd trat das Problem ursprünglich erstmals auf, nachdem der knxd aktiviert wurde. Bin mir aktuell nicht sicher ob unter FreeBSD nicht doch eine gewisse Abhängigkeit besteht. Ich habe jetzt jedenfalls alles neu aufgesetzt und 2 Jails erstellt, in einem läuft knxd, im anderen der sh. So funktioniert das Zusammenspiel knxd - sh - sv bislang ohne Error in den Logs.