SmarthomeNG 1.8.1 pypi.org Problem

[Asterix3]

Hallo,

habe mittlerweile auch die Version 1.8.1 installiert. läuft alles soweit gut.
Wenn ich allerdings im backend den Pypi check auslöse sehe ich tausende Zugriffen pro Minute auf meinem pi-hole nach pypi.org. Nachdem ich den smarthome.service neugestartet habe verschwinden diese. Sobald ich aber wieder den check anklicke tauchen sie wieder auf. Habe mal zum testen 2 Tage gewartet und habe über 500.000 Zugriffe.

Gruß

Stefan

[Msinn]

500.000 Zugriffe ist definitiv nicht normal.

In einem andern Post hatte jemand ein ähnliches Problem. Auf seinem Rechner war ein Python Package installiert, welches es auf pypi.org nicht (mehr) gibt. Deshalb kam von pypi.org keine Version zurück und SmartHomeNG versuchte es daraufhin erneut, um die aktuelle Version zu bestimmen.

[Morg]

Da müsste man ggf. mal schauen, ob es entweder eine Art rate-limit oder sogar ein retry-limit für shng gibt; nicht, dass sich shng in guter Absicht in ein DoS-Tool verwandelt.

Allerdings muss dann auch eine Entscheidung getroffen werden, wie bei fehlenden Informationen verfahren wird. Auf "gut Glück" trotzdem starten und ggf. mit Fehlern leben, oder Start verweigern, auch wenn - offline - keine Versionsinfos vorliegen. (gilt ja genauso auch für die automatische Installation von Abhängigkeiten)

[Msinn]

Nee, da ist eine Endlosschleife entstanden, wenn ein Python Package auf pypi.org nicht mehr vorhanden ist,

Ich habe da jetzt ein retry cound eingebaut, damit bei solchen Paketen nach 10 Versuchen Schluss ist und eine Warnung geloggt wird.

[Asterix3]

Wie kann ich denn checken welches Paket das ist? Im Logfile habe ich nur das gefunden:

shpypi.get_releasedata get_releasedata_frompypi: Error: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /rss/project/iotop/releases.xml (Caused by NewConnectionError('<urllib3.connection.VerifiedHT TPSConnection object at 0xb5660730>: Failed to establish a new connection: [Errno -2] Der Name oder der Dienst ist nicht bekannt'))

Scheint aber noch was zu sein.
Das iotop Paket habe ich schon deinstalliert.

Update:
Das wars!!!
Hatte iotop mit "apt-get" als Paket installiert. jetzt ist die Schleife weg!

[Msinn]

Du kannst das Logging von lib.pypi auf DEBUG anpassen. Das hatte beavon auch gemacht. Dadurch kam das Package ufw zutage:

2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data: -> pypi package: project_name ufw, availabe = []
2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data (ufw): Version --
2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data: -> pypi package: project_name ufw, availabe = []
2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data (ufw): Version --
2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data: -> pypi package: project_name ufw, availabe = []
2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data (ufw): Version --
2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data: -> pypi package: project_name ufw, availabe = []
2021-02-04 17:55:26 DEBUG lib.shpypi get_package_releases_data (ufw): Version --

Das Logging kannst Du in der etc/logging.yaml anpassen:

loggers:

    ...

    lib.shpypi:
        handlers: [shng_details_file]
        level: DEBUG

[Asterix3]

Danke dir!
Kann geschlossen werden.

Gruß

Stefan

[Bear80]

Danke für den Tip... Jede Nacht um 3:07 hat sich bei mir die Prozessorlast um 40% erhöht und 1,5mbps Traffic ins Internet kam hinzu... Nun die pip-Installation bereinigt (alles was via apt installiert wurde deinstalliert und mit pip neu installiert) und jetzt scheint Ruhe zu sein...

kleine Ergänzung:
Auch bei mir rebortbug ...

[knxms]

Moin!
Bei mir war es wohl das Python-Paket

reportbug

das die CPU-Last massiv erhöhte. Mit #6 Hinweis identifiziert und anschließend via apt remove deinstalliert.

[Jackhammer]

knxms bei mir ebenso.

[whe]

bei mir ist es wohl das package cupshelpers:

2021-02-18  11:19:25 DEBUG    lib.shpypi          get_package_releases_data: -> pypi package: project_name cupshelpers, availabe = []
2021-02-18  11:19:25 DEBUG    lib.shpypi          get_package_releases_data: -> pypi package: project_name cupshelpers, availabe = []
2021-02-18  11:19:25 DEBUG    lib.shpypi          get_package_releases_data (cupshelpers): Version --
2021-02-18  11:19:25 DEBUG    lib.shpypi          get_package_releases_data (cupshelpers): Version --
2021-02-18  11:19:26 DEBUG    lib.shpypi          get_package_releases_data: -> pypi package: project_name cupshelpers, availabe = []
2021-02-18  11:19:26 DEBUG    lib.shpypi          get_package_releases_data: -> pypi package: project_name cupshelpers, availabe = []
2021-02-18  11:19:26 DEBUG    lib.shpypi          get_package_releases_data (cupshelpers): Version --
2021-02-18  11:19:26 DEBUG    lib.shpypi          get_package_releases_data (cupshelpers): Version --

und wie kann ich das Problem beheben ?
cupshelpers mit apt-get deinstallieren und mit pip neu installieren ?
dann muss ich mal Google fragen wie man so etwas macht.
nicht jeder der SmarthomeNG nutzt ist ein Linux Experte. ( aber man muss es wohl werden um damit klar zu kommen )

[Msinn]

<Retourkutsche>
Wenn Du ein Linux installierst, wie in der Komplettanleitung beschrieben, solltest Du das Problem nicht haben. Wenn Du anderes zusätzlich auf dem Rechner installierst, solltest Du zumindest soweit Linux Experte sein, um zu wissen was Du wie installiert hast.
</Retourkutsche>

Aber um das Thema sachlich zu betrachten: Im Develop ist bereits ein Fix, der damit umgehen kann, dass einige mit apt installierte Linux Packages Python Packages mitbringen, die der Autor nicht auf pypi.org veröffentlicht hat.

Mit dem Release 1.8.2 wird der Fix allgemein zugänglich.

[Bear80]

Naja, Linux-Experte ist übertrieben... Aber etwas Grundkenntnisse schaden nicht 😉

Ich gehe mal davon aus, dass du ein Debian-Derivat nutzt, da du von apt-get schreibst. Folgende Vorgehensweise (oder so ähnlich):
1. Herausfinden, wie das Debian Paket für cupshelpers heißt. Z.B.: dpkg -l | grep cupshelpers
2. Das Paket mit apt-get deinstallieren: apt-get remove <Paketname>
3. Das Paket mittels pip installieren. Darauf achten, dass pip als der Benutzer ausgeführt wird, der auch smarthome ausführt. Also vorher z.B. su smarthomeuser. Und dann pip install cupshelpers

Das sollte es dann gewesen sein... Könnte sein, dass die Pakete anders heißen. Ggfs. bei pypi.org schaun....

[whe]

danke, aber bin mir keiner Schuld bewusst.

habe das python3-cupshelpers jetzt mal deinstalliert und schaue, ob sich mein HUE2 Problem damit lösen lässt.
sieht noch nicht so aus.

der loop ist auf jeden Fall jetzt mit DEBUG nicht mehr zu erkennen; und mein Raspi looped jetzt auch nicht mehr.
aber mein HUE2 Problem kriege ich damit nicht behoben; siehe: https://knx-user-forum.de/forum/supportforen/smarthome-py/1586861-support-thread-für-das-hue2-plugin?p=1617639#post1617639