Ankündigung

**bmx** · 08.02.2023, 09:45

Zitat von henfri Beitrag anzeigen

Needing more worker threads than the specified maximum of 20! (30 worker threads active)

Du hast zuviel gleichzeitig am Laufen und solltest rausbekommen, was da alles gleichzeitig arbeitet (und ob das wirklich sein muss).

**henfri** · 08.02.2023, 10:00

Und wie mache ich das?

**bmx** · 08.02.2023, 12:00

Das hängt doch von Deinen Plugins und Items ab, das wird Dir hier keiner so genau schreiben können ohne das Du die Hosen runterlässt bzw. Deine Config postest.

Schau Dir mal diesen Thread hier an, insbesondere ab Post Sonstiges / Verwaltung / Archiv Der Kollege ist auch in Performance Probleme reingelaufen. Ich vermute es ist bei Dir ebenso eine mögliche Ursache.

**AndreK** · 08.02.2023, 16:54

Hi henfri,

vielleicht hilft Dir folgendes Code-Schnipsel, im Executor angewandt, weitere Erkenntnisse zu gewinnen.
Du musst eben einen Zeitpunkt erwischen an dem sehr viele Threads gestartet sind bzw. Du kannst prüfen welche lange Zeit aktiv sind.

Code:

import threading
filler="                                         "
print ('Worker-Threads')
print ('==============')
for w in sh.scheduler._workers:
  print (w.name + filler[0:len(filler)-len(w.name)] + '   is Alive : ' + str(w.is_alive()) + ' ident : ' + str(w.ident) + '  native_id: '+ str(w.native_id))
print ('Main-Threads')
print ('==============')
for w in threading.enumerate():
  print (w.name + filler[0:len(filler)-len(w.name)] + '   is Alive : ' + str(w.is_alive()) + ' ident : ' + str(w.ident) + '  native_id: '+ str(w.native_id))

Das liefert dann folgendes :

Code:

Worker-Threads
==============
idle                                        is Alive : True ident : 140429209159424  native_id: 1774932
idle                                        is Alive : True ident : 140429200766720  native_id: 1774933
idle                                        is Alive : True ident : 140428988905216  native_id: 1774934
idle                                        is Alive : True ident : 140428980512512  native_id: 1774935
idle                                        is Alive : True ident : 140428972119808  native_id: 1774936
Main-Threads
==============
Main                                        is Alive : True ident : 140429272749888  native_id: 1774899
Scheduler                                   is Alive : True ident : 140429217552128  native_id: 1774931
idle                                        is Alive : True ident : 140429209159424  native_id: 1774932
idle                                        is Alive : True ident : 140429200766720  native_id: 1774933
idle                                        is Alive : True ident : 140428988905216  native_id: 1774934
idle                                        is Alive : True ident : 140428980512512  native_id: 1774935
idle                                        is Alive : True ident : 140428972119808  native_id: 1774936
HTTPServer Thread-6                         is Alive : True ident : 140428962039552  native_id: 1774940
CP Server Thread-7                          is Alive : True ident : 140428953646848  native_id: 1774941
CP Server Thread-8                          is Alive : True ident : 140428945254144  native_id: 1774942
CP Server Thread-9                          is Alive : True ident : 140428936861440  native_id: 1774943
CP Server Thread-10                         is Alive : True ident : 140428452034304  native_id: 1774944
HTTPServer Thread-11                        is Alive : True ident : 140428443641600  native_id: 1774945
CP Server Thread-12                         is Alive : True ident : 140428435248896  native_id: 1774946
CP Server Thread-13                         is Alive : True ident : 140428426856192  native_id: 1774947
CP Server Thread-14                         is Alive : True ident : 140428418463488  native_id: 1774948
CP Server Thread-15                         is Alive : True ident : 140428410070784  native_id: 1774949
CP Server Thread-16                         is Alive : True ident : 140428401678080  native_id: 1774950
CP Server Thread-17                         is Alive : True ident : 140427915163392  native_id: 1774951
CP Server Thread-18                         is Alive : True ident : 140427906770688  native_id: 1774952
CP Server Thread-19                         is Alive : True ident : 140427898377984  native_id: 1774953
CP Server Thread-20                         is Alive : True ident : 140427889985280  native_id: 1774954
CP Server Thread-21                         is Alive : True ident : 140427881592576  native_id: 1774955
modules.websocket.websocket_server          is Alive : True ident : 140427873199872  native_id: 1774963
modules.mqtt.paho_client                    is Alive : True ident : 140427864807168  native_id: 1774964
TCP_Client (plugins.knx_127.0.0.1:6720)     is Alive : True ident : 140426883352320  native_id: 1774996
ThreadPoolExecutor-0_0                      is Alive : True ident : 140426908530432  native_id: 1774997
ThreadPoolExecutor-0_1                      is Alive : True ident : 140426900137728  native_id: 1774998
ThreadPoolExecutor-0_2                      is Alive : True ident : 140426988259072  native_id: 1775340
ThreadPoolExecutor-0_3                      is Alive : True ident : 140426891745024  native_id: 1775341
ThreadPoolExecutor-0_4                      is Alive : True ident : 140426874697472  native_id: 1775352
ThreadPoolExecutor-0_5                      is Alive : True ident : 140426866304768  native_id: 1775849
ThreadPoolExecutor-0_6                      is Alive : True ident : 140426857912064  native_id: 1776119
ThreadPoolExecutor-0_7                      is Alive : True ident : 140426438768384  native_id: 1776345

Gruss Andre

**Msinn** · 08.02.2023, 17:08

Diese Information mit leicht eingeschränkter Detaillierung (zu mehrfach vorkommenden Threads wird nur die Anzahl Threads und nicht jede einzelne Thread ID angezeigt) bekommt man auch in der Admin GUI unter Scheduler/Threads angezeigt.

Diese Aufstellung hilft allerdings nur bedingt weiter. Interessant sind die Scheduler Tasks, die gleichzeitig einen Worker Thread aktiv nutzen. Die Laufzeit der einzelnen Threads kann dabei so kurz sein, dass man sie nur mit sehr viel Glück in dieser Aufstellung sieht.

Wenn z.B. 50 Items zur selben Zeit getriggert werden und durch die Art ihrer Definition einen Scheduler Task auslösen, Liegt die Anzahl Tasks über dem Schwellwert. Dann wird ein zusätzlicher Worker erzeugt (der nach Abarbeitung des Tasks in die idle Threads eingeht). Das ist erstmal noch kein Problem.

Wenn aber diese 50 Items alle 2 Minuten zur gleichen Zeit getriggert werden, so wird alle 2 Minuten ein neuer Worker Thread erzeugt... Das wird dann irgendwann zum Problem. Genau darum ging es auch in dem Thread auf den bmx verwiesen hat.

**henfri** · 08.02.2023, 17:23

Hallo,

ich denke, dann kann es daran liegen, dass ich 33 Items mit dieser Definition habe:

Code:

Verbrauch:
    type: num
    cycle: 60  # wenn cycle erhöht wird auch * 60.0 erhöhen
    eval: self()+ self.return_parent().Leistung() * 60.0 / 60.0 / 60.0 / 1000
    database: 'init'
    database_maxage: 365

Ich habe cycle vorhin auf 600 erhöht, aber natürlich könnten sie weiterhin gleichzeitig getriggert werden.

Die Worker sehen bei mir so aus:
image.png
image.png

Ich denke, ich könnte das Problem umschiffen, wenn ich eval_trigger verwende und bei einer Änderung des Status (des Licht: An/Aus oder in einigen Fällen Dimmwert) ein update trigger. Wird ein bisschen komplizierter, weil ich bestimmt erstmal mit prev_age() und age() fummeln muss, da ich nicht weiß, was zuerst ausgelöst wird, ... aber da könnt ihr ja sicher helfen.

Gruß,
Hendrik

**Msinn** · 08.02.2023, 18:07

Eine Alternative wäre, nicht eval in vielen Items zu verwenden, sondern eine Logik zu schreiben, die alle betroffenen Items neu berechnet/bedient.

Die Logik benötigt nur einen Worker Thread, unabhängig davon, wie viele Items betroffen sind.

**henfri** · 12.02.2023, 10:08

Hallo,

ich das erhöhen des cycles hat das Problem nicht behoben.
Ich werde jetzt die evals mal entfernen.

Gruß,
Hendrik

**fuxl66** · 14.02.2023, 19:35

Hi,
Ich hatte ebenso sehr viele evals in meinen items. Hab diese (die meisten) nun durch mehrere Logiken für verschiedene crontab's und dadurch noch 11 started workers aber immer noch 50 Threads.

Ist das nun eine Hohe last? Hab keine Idee dazu!
Vorher hatte ich 40/60.

**Msinn** · 14.02.2023, 20:27

Die Anzahl Threads ist nicht das Problem.

Es geht hur um die Anzahl aktiver Worker Threads. Diese sollte nicht dauerhaft über 20 liegen. Sonst werden nach und nach mehr Worker Threads gestartet, um zu verhindern, dass die Queue der Tasks zu lang wird. Solange Du bei den Started Workern nicht über 20 bis 30 kommst, hast Du eine geringe Last. Die aktiven Worker werden bei Dir vermutlich so um die 5 Worker schwanken.

Ab 20 Started Workern erhältst Du jedes mal, wenn ein neuer Worker gestartet wird eine Warnung im Log. Ein Problem wird das aber erst, wenn Du regelmäßig diese Warnung bekommst, also ständig neue Worker gestartet werden, um die Menge (gleichzeitig) anstehender Tasks abzuarbeiten.

**fuxl66** · 14.02.2023, 23:04

Msinn
Vielen Dank für deine Erklärung.
Dann ist mein System nun gut unterwegs.

**henfri** · 16.02.2023, 11:10

Hallo,

bisher hat Smarthome sich immer neu gestartet, wenn es zu viele Worker gab.
Seit 1-2 Wochen passiert das nicht mehr immer - das senkt den WAF

Im Log sehe ich:

Code:

2023-02-15  09:10:52 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:10:52 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:10:52 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:10:59 ERROR    lib.scheduler       Needing more worker threads than the specified maximum of 20!  (30 worker threads active)
2023-02-15  09:10:59 WARNING  lib.scheduler       Worker-Threads: items.Haustechnik.Stromzaehler.Momentanleistung_10min_c: 11, items.Haustechnik.UVR.Puffer_Fuellstand: 2, items.Haustechnik.Stromzaehler.Momentanleistung_1min_c: 11, idle: 2, items.Haustechnik.Serverschrank.Strom.Gerechnet: 1, items.Haustechnik.Stromzaehler.FinalerCounter: 1, plugins.database.Buffer dump: 1, logics.uvr: 1
2023-02-15  09:11:27 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:11:27 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:11:54 ERROR    asyncio             Task exception was never retrieved
future: <Task finished name='update_visu' coro=<Websocket.update_visu() done, defined at /usr/local/smarthome/modules/websocket/__init__.py:907> exception=RuntimeError('cannot schedule new futures after shutdown')>
Traceback (most recent call last):
  File "/usr/local/smarthome/modules/websocket/__init__.py", line 916, in update_visu
    queue_entry = await self.janus_queue.async_q.get()
  File "/usr/local/lib/python3.9/site-packages/janus/__init__.py", line 558, in get
    self._parent._notify_sync_not_full()
  File "/usr/local/lib/python3.9/site-packages/janus/__init__.py", line 233, in _notify_sync_not_full
    fut = asyncio.ensure_future(self._loop.run_in_executor(None, f))
  File "/usr/local/lib/python3.9/asyncio/base_events.py", line 819, in run_in_executor
    executor.submit(func, *args), loop=self)
  File "/usr/local/lib/python3.9/concurrent/futures/thread.py", line 167, in submit
    raise RuntimeError('cannot schedule new futures after shutdown')
RuntimeError: cannot schedule new futures after shutdown
2023-02-15  09:12:00 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:12:00 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:12:00 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:12:00 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:12:17 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2023-02-15  09:12:30 WARNING  lib.db              fetchone: No cursor defined for stmt SELECT 1 with params ()
2023-02-15  09:13:46 NOTICE   lib.smarthome       --------------------   SmartHomeNG stopped   --------------------

An der Kommandozeile:

Code:


192.168.177.3 - - [14/Feb/2023 20:32:43] "POST / HTTP/1.0" 200 -

192.168.177.3 - - [14/Feb/2023 20:51:24] "POST / HTTP/1.0" 200 -

192.168.177.3 - - [14/Feb/2023 20:51:58] "POST / HTTP/1.0" 200 -

/usr/local/smarthome/lib/smarthome.py:885: CryptographyDeprecationWarning: Blowfish has been deprecated

obj = getattr(module, sym)

/usr/local/smarthome/lib/smarthome.py:885: CryptographyDeprecationWarning: CAST5 has been deprecated

obj = getattr(module, sym)

/usr/local/smarthome/lib/smarthome.py:885: CryptographyDeprecationWarning: IDEA has been deprecated

obj = getattr(module, sym)

/usr/local/smarthome/lib/smarthome.py:885: CryptographyDeprecationWarning: SEED has been deprecated

obj = getattr(module, sym)

192.168.177.3 - - [15/Feb/2023 07:49:24] "POST / HTTP/1.0" 200 -

192.168.177.3 - - [15/Feb/2023 07:49:30] "POST / HTTP/1.0" 200 -

192.168.177.3 - - [15/Feb/2023 08:32:22] "POST / HTTP/1.0" 200 -

/usr/local/smarthome/modules/websocket/__init__.py:245: RuntimeWarning: coroutine 'BaseEventLoop.shutdown_asyncgens' was never awaited

self.loop.shutdown_asyncgens()

RuntimeWarning: Enable tracemalloc to get the object allocation traceback

Was kann ich machen, um wenigstens dahin zu kommen, dass sh wieder sauber neu startet, bis ich den Root-Cause behoben habe?

Gruß,
Hendrik

**henfri** · 18.02.2023, 16:16

Hallo,

ich habe jetzt die vielen evals deaktiviert, indem ich "cycle" auskommentiert habe.
Dennoch ist sh wieder neu gestartet:

Code:

2023-02-18  09:19:03 ERROR    lib.scheduler       Needing more worker threads than the specified maximum of 20!  (30 worker threads active)
2023-02-18  09:19:03 WARNING  lib.scheduler       Worker-Threads: items.Haustechnik.Stromzaehler.Momentanleistung_1min_c: 12, items.Haustechnik.Stromzaehler.Momentanleistung_10min_c: 13, idle: 4, plugins.database.Buffer dump: 1

Ist die zweite Zeile ein Hinweis darauf, dass eins dieser Items das Problem ist?

Gruß,
Hendrik

**Msinn** · 18.02.2023, 18:21

Vermutlich.
Wenn allein für das Item items.Haustechnik.Stromzaehler.Momentanleistung_1m in_c 12 worker Threads aktiv sind, spricht das deutlich dafür, dass der Zeitabstand zwischen zwei Trigger Events kleiner ist als die Zeit, die der Worker Thread zum abarbeiten benötigt.

Das gleiche gilt für items.Haustechnik.Stromzaehler.Momentanleistung_10 min_c.

Ankündigung

Stabilitätsprobleme

Stabilitätsprobleme

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar