Requirements auto install

[whe]

Bei der Aktivierung eines neuen Plugins werden die required packages automatisch installiert.
das ging aber heute bei mir schief; ich musste es zu Fuß installieren. warum ?

2024-05-17  19:40:25 NOTICE   lib.smarthome       --------------------   Init SmartHomeNG v1.10.0-master (4b25822a0)   --------------------
2024-05-17  19:40:25 NOTICE   lib.smarthome       Running in Python interpreter 'v3.11.2 final' in virtual environment, from directory /usr/local/smarthome
2024-05-17  19:40:25 NOTICE   lib.smarthome        - operating system 'Debian GNU/Linux 12 (bookworm)' (pid=141389)
2024-05-17  19:40:25 NOTICE   lib.smarthome        - on 'Raspberry Pi (Rev. c03114)'
2024-05-17  19:40:27 WARNING  lib.shpypi          test_requirements: 'pymodbus' not installed. Minimum v3.5.2 needed
2024-05-17  19:40:27 NOTICE   lib.shpypi          Installing plugin requirements for the current user, please wait...
2024-05-17  19:40:27 NOTICE   lib.shpypi          Using auto-determined PIP: '/usr/local/smarthome/venvs/py_shng/bin/pip3'
2024-05-17  19:40:28 NOTICE   lib.shpypi          Running in a virtualenv environment - installing plugin requirements only to current virtual environment, please wait...
2024-05-17  19:40:29 ERROR    lib.shpypi          error: externally-managed-environment

× This environment is externally managed
╰─> To install Python packages system-wide, try apt install
    python3-xyz, where xyz is the package you are trying to
    install.
    
    If you wish to install a non-Debian-packaged Python package,
    create a virtual environment using python3 -m venv path/to/venv.
    Then use path/to/venv/bin/python and path/to/venv/bin/pip. Make
    sure you have python3-full installed.
    
    For more information visit http://rptl.io/venv

note: If you believe this is a mistake, please contact your Python installation or OS distribution provider. You can override this, at the risk of breaking your Python installation or OS, by passing --break-system-packages.
hint: See PEP 668 for the detailed specification.

2024-05-17  19:40:29 CRITICAL lib.smarthome       Python package requirements for configured plugins are not met and unable to install those requirements
2024-05-17  19:40:29 CRITICAL lib.smarthome       Do you have multiple Python3 Versions installed? Maybe PIP3 looks into a wrong Python environment. Try to configure pip_command in etc/smarthome.yaml
2024-05-17  19:40:29 CRITICAL lib.smarthome       Aborting

danach versucht SHNG immer wieder neu zu starten; loop.

[Msinn]

Unter Bookworm musst Du SmartHomeNG in einem virtuellen Environment laufen lassen. Schau mal in die Doku. Da ist das beschrieben.

[whe]

Das läuft in einem virtuellen environment.

2024-05-17  19:40:25 NOTICE   lib.smarthome       --------------------   Init SmartHomeNG v1.10.0-master (4b25822a0)   --------------------
2024-05-17  19:40:25 NOTICE   lib.smarthome       Running in Python interpreter 'v3.11.2 final' in virtual environment, from directory /usr/local/smarthome

[Msinn]

Das PIP Kommando aber nicht. Daher die Warnung. Hast Du in der smarthome.yaml einen Pfad für das PIP Kommando (pip_command) angegeben? Wenn ja, entferne diesen Eintrag.

[whe]

ist auch nicht angegeben. (alles default)

# If the standard commend PIP3 does not work when multiple Python3 versions are installed
# enter the name or full path of the right pip command below
#pip_command: "python3 -m pip"
#or on Windows platform
#pip_command: "python -m pip"

Die Installation ist schon ein paar Monate alt und ich habe auch schon mehrfach plugins nachinstalliert.
der Fehler trat jetzt zum 1. Mal auf mit dem Modbus plugin.

[Msinn]

Beim modbus Plugin (der Installation von pymodbus) hatten auch schon andere Probleme hier im Forum geschildert. Ich habe versucht das bei mir nachzustellen, bekomme aber den Fehler nicht produziert...

[Morg]

Nur eine Vermutung: wie sind den die Umgebungsvariablen in der shng-runtime gesetzt, insbesondere PATH?

Vielleicht bekommt Python einen Pfad, der nicht vom venv überschrieben wurde und ruft deshalb das falsche pip auf? Kannst du tracen, welches pip genau aufgerufen wird?

[Sipple]

Ja, das pymodbus macht auch bei mir Ärger. Wenn auch in anderer Form. Hast du es nun händisch installiert?
Wenn ja, welche Version?
Wenn es läuft, bekommst du dann beim Aufruf des Admin Interfaces einen Fehlereintrag im Log, dass es für verschiedene Plugins verschiedene minversion Einträge gibt?

[whe]

ich habe ee händisch installiert und alle ist OK.

(py_shng) smarthome@raspiP4book:/usr/local/smarthome $ python3 -m pip install pymodbus --upgrade

Version:

(py_shng) smarthome@raspiP4book:/usr/local/smarthome $ python3 -m pip show pymodbus
Name: pymodbus
Version: 3.6.8
Summary: A fully featured modbus protocol stack in python
Home-page:
Author: Galen Collins, Jan Iversen
Author-email:
License: BSD-3-Clause
Location: /usr/local/smarthome/venvs/py_shng/lib/python3.11/site-packages
Requires:
Required-by:

allerdings habe ich noch nichts damit getestet.

[whe]

Vielleicht bekommt Python einen Pfad, der nicht vom venv überschrieben wurde und ruft deshalb das falsche pip auf? Kannst du tracen, welches pip genau aufgerufen wird?

keine Ahnung, wie man das macht.

[Sipple]

Weil es hierzu passt:

Ich habe über's Wochenende einen nagelneuen PI5 installiert. Als Backup, falls mal mein NUC Server die Grätsche macht.
Bookworm.
SHNG 1.10.
Smartvisu 3.4.0.
Python 3.11.2.

Das ganze wie immer exakt nach Anleitung.
Lief alles normal durch. Auch die Autoinstallation von fehlenden Paketen hat zum ersten mal in gefühlt 10 Jahren funktioniert.
Ich verwende für Modbus aktuell noch das Develop-Plugin von ivande. Auch dabei wurde pymodbus 3.6.8 automatisch installiert und es scheint alles zu klappen.
Ich bekomme da auch komischerweise nicht die Fehlermeldung, wie im Modbus Plugin schon gepostet, dass es einen "minversion" Konflikt gibt.

Sehr zufrieden bisher.

Jetzt wollte ich gestern Abend mein NUC System ebenfalls auf die SHNG Version 1.10 ziehen.
Ebenfalls Bookworm.
Ebenfalls Python 3.11.2.

Alte Verzeichnisse umbenannt und mit der Installation - wieder exakt nach Anleitung - angefangen.
Die virtuelle Umgebung für Python wurde erfolgreich installiert und läuft.
Und jetzt hängt es wieder einmal am ersten Start von Smarthome NG.
SHNG will die requirements mal wieder nicht installieren.
"Mal wieder nicht", weil das Problem so oder so ähnlich bei mir seit x Jahren, jedesmal beim Upgrade von einer SHNG Version auf die nächste auf dem NUC System und gelegentlich auch auf meinen PI's, auftritt.
Ich habe mich da längst dran gewöhnt und dann halt immer die Pakete händisch installiert. Das ist ja nicht die Welt, macht man einmal und funktioniert. Bisher.
Einen wirklichen Grund, warum das so bei mir auf dem NUC nie geklappt hat, weiß ich bis heute nicht.
Die üblichen Verdächtigen (mehr als eine Python Version, falscher Pfad, etc.) Konnte ich bisher immer komplett ausschliessen.

Aber jetzt beisse ich mir grad die Zähne aus. Es will einfach nicht. Egal welchen Trick ich versucht habe (ältere PIP Version, --break-system-packages Option).

Bevor ich da jetzt Log Einträge etc. poste, habe ich beschlossen, mir heute oder morgen eine neue SSD für das NUC zu besorgen und wieder von Null anzufangen. Genau nach Vorschrift und alles protokollieren.
Ich würde wirklich mal gerne verstehen, warum das bei mir auf dem NUC immer wieder schief geht, wenn man nach Anleitung vorgeht. Ich verwende immer die "debian-x.x.x-amd64-netinst.iso". Kein Desktop Gedöhns oder sonstiges.

Ich poste hier dann das Ergebnis.

Gruß, Martin