UZSU - Fehler beim Nachinstallieren von numpy und scipy auf RPI3

[ElektroRudi]

Moin,
beim Installieren von SHNG1.7.2 und nach dem Aktivieren des UZSU-Plugins auf einem Raspberry Pi3B ist folgender Feher aufgetreten:

2020-11-09 20:32:44 WARNING __main__ -------------------- Init SmartHomeNG 1.7.2.master (3828810e) --------------------
2020-11-09 20:32:44 WARNING __main__ Running in Python interpreter 'v3.7.3 final' on Linux-5.4.72-v7+-armv7l-with-debian-10.6 (pid=1644)
2020-11-09 20:32:45 ERROR lib.shpypi test_requirements: 'numpy' not installed, any version needed
2020-11-09 20:32:45 ERROR lib.shpypi test_requirements: 'scipy' not installed. Minimum v1.1.0 needed
2020-11-09 20:32:45 WARNING lib.shpypi Installing plugin requirements for the current user, please wait...
2020-11-09 20:32:45 WARNING lib.shpypi Using PIP command: '/usr/bin/pip3.7'
2020-11-09 20:32:45 ERROR lib.shpypi /bin/sh: 1: /usr/bin/pip3.7: not found

Im angemeckerten Pfad gibt es nur ein pip3 ohne .7, auch nach updaten von pip.
Ich habe dann die Abhänigkeiten über

sudo pip3 install -r /usr/local/smarthome/plugins/uzsu/requirements.txt

manuell installiert.
SHNG läuft zwar wieder hoch, aber UZSU wird nicht geladen:

2020-11-09 20:59:10 WARNING __main__ -------------------- Init SmartHomeNG 1.7.2.master (3828810e) --------------------
2020-11-09 20:59:10 WARNING __main__ Running in Python interpreter 'v3.7.3 final' on Linux-5.4.72-v7+-armv7l-with-debian-10.6 (pid=633)
2020-11-09 20:59:11 WARNING lib.shtime Nutze Feiertage für Land 'DE', Provinz 'NI', State '', 1 benutzerdefinierte Feiertagsdefinition(en) definiert
2020-11-09 20:59:18 WARNING plugins.uzsu Unable to import Python package 'scipy' which is necessary for interpolation.
2020-11-09 20:59:18 ERROR lib.plugin Plugins: Plugin 'uzsu' initialization failed, plugin not loaded
2020-11-09 20:59:18 WARNING lib.item load_itemdefinitions(): For testing the joined item structs are saved to /usr/local/smarthome/etc/structs_joined.yaml

In der Admin wird mir aber angezeigt das scipy in der Version 1.5.4 installiert ist, auch numpy 1.19.4.
Ich habe Python in Version 3.7.3.

Was mache ich falsch bzw. habe ich vergessen zu installieren?

[Onkelandy]

Die Module müssen für den Smartphone User installiert werden, nicht mit sudo

am Einfachsten du fixt das pip Problem Zb mit ln -s /usr/bin/pip3 /usr/bin/pip3.7

[ElektroRudi]

Vielen Dank hierfür.

Nachdem ich die Module von Hand wieder deinstalliert habe und

sudo ln -s /usr/bin/pip3 /usr/bin/pip3.7

ausgeführt habe kam folgendes:

2020-11-09 23:06:00 WARNING __main__ -------------------- Init SmartHomeNG 1.7.2.master (3828810e) --------------------
2020-11-09 23:06:00 WARNING __main__ Running in Python interpreter 'v3.7.3 final' on Linux-5.4.72-v7+-armv7l-with-debian-10.6 (pid=2978)
2020-11-09 23:06:01 ERROR lib.shpypi test_requirements: 'numpy' not installed, any version needed
2020-11-09 23:06:01 ERROR lib.shpypi test_requirements: 'scipy' not installed. Minimum v1.1.0 needed
2020-11-09 23:06:01 WARNING lib.shpypi Installing plugin requirements for the current user, please wait...
2020-11-09 23:06:01 WARNING lib.shpypi Using PIP command: '/usr/bin/pip3.7'
2020-11-09 23:07:57 ERROR lib.shpypi WARNING: pip is being invoked by an old script wrapper. This will fail in a future version of pip.
Please see https://github.com/pypa/pip/issues/5599 for advice on fixing the underlying issue.
To avoid this problem you can invoke Python with '-m pip' instead of running pip directly.

2020-11-09 23:07:57 CRITICAL __main__ Python package requirements for configured plugins are not met and unable to install those requirements
2020-11-09 23:07:57 CRITICAL __main__ Do you have multiple Python3 Versions installed? Maybe PIP3 looks into a wrong Python environment. Try to configure pip_command in etc/smarthome.yaml
2020-11-09 23:07:57 CRITICAL __main__ Aborting

Ein Versuch von Hand ergab folgendes:

pip3 install -r /usr/local/smarthome/plugins/uzsu/requirements.txt
Defaulting to user installation because normal site-packages is not writeable
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: numpy in ./.local/lib/python3.7/site-packages (from -r /usr/local/smarthome/plugins/uzsu/requirements.txt (line 1)) (1.19.4)
Requirement already satisfied: scipy>=1.1.0 in ./.local/lib/python3.7/site-packages (from -r /usr/local/smarthome/plugins/uzsu/requirements.txt (line 2)) (1.5.4)

mache für heute erst mal schluß....😴

[Onkelandy]

Ich vermute du hast den Befehl als Smarthome User ausgeführt?
Am ehesten nutzt jetzt shng ne andere Python Umgebung oder falschen User? Sonst muss wer anderer helfen sorry

[bmx]

Prinzipiell gilt das in https://github.com/pypa/pip/issues/5599 gesagte. Wichtig dabei: besonders "never use sudo with pip"

* Vermutlich hast Du die Bibliotheken oben mit sudo pip installiert, dann mußt Du die auch entsprechend deinstallieren
* SHNG installiert die benötigten Bibliotheken für den smarthome Benutzer, dazu hängt es an den Installationsbefehl pip3 install -r <requirementsfilenamehere> ein --user dran.
* Wenn ich mich recht entsinne kannst Du statt pip3 auch python3 -m pip verwenden

[ElektroRudi]

Ich glaube das hier der Ursprung meines Problems liegt:

Only ever use your system package manager to upgrade the system pip. The system installed pip is owned by the distribution, and if you don't use distribution-supplied tools to manage it, you will hit problems. Yes, we know pip says "you should upgrade with pip install -U pip" - that's true in a pip-managed installation, ideally distributions should patch this message to give appropriate instructions in the system pip, but they don't. We're working with them on this, but it's not going to happen soon (remember, we're looking at cases where people are upgrading old versions of pip here, so patches to new versions won't help).

Ich werde heute Abend mal versuchen pip neu zu installieren.

[Morg]

Am Einfachsten dürfte sein, du wechselst mit su - <smarthomeuser> in dessen Kontext und installierst dann - ohne sudo und dann nur für den Nutzer - pip und die notwendigen Module.

[ElektroRudi]

Nachdem ich einiges probiert habe, und nicht erfolgreich war, habe ich mich entschlossen einmal neu aufzusetzen, SD-Karten habe ich halt ausreichend. Ich weiß, das ist nicht sehr sportlich aber ich bin in Linux nicht so tief drinn und es hat dann halt funktioniert. Hierzu muss ich erwähnen, dass die Anleitung wirklich sehr gut ist, danke dafür. Zwei Anmerkungen hierzu hätte ich aber noch. Wenn der smarthome - User angelegt wird, sollte er auch ein Passwort bekommen weil speziell beim RPi der SSH-Zugang ohne PW standardmäßig deaktiviert ist. Und als zweite kleine Anmerkung wird smartvisu noch oft als 'smartVISU', also mit der großen VISU bezeichent. Das war glaube ich zwischenzeitlich so, ist aber wieder geändert worden.
Nochmals Danke an das tolle Team hier, Ihr macht wirklich gute Arbeit 👍

PS.:
Beispielkofiguration für das TPUART USB Modul von Busware:
KNXD_OPTS="-e 1.0.1 -E 1.0.200:10 -u /tmp/eib -D -T -R -S -b tpuarts:/dev/knx"

[bmx]

Hallo ElektroRudi, ich habe Deine Anmerkungen zum Userpasswort und zum TPUART mal in die Doku eingepflegt. Allerdings habe ich die KNXD-OPTS ein wenig an die anderen angepasst. Wenn Du auch noch ein -c spendierst, kann der knxd auch cachen.

Zu SmartVISU, smartVISU oder smartvisu kenne ich keine "offizielle" Linie. Es ist halt in Directories auf Gross- und Kleinschreibung zu achten daher steht dort gerne smartvisu
Solange Apollo oder wvhn nicht mosern oder Änderungen einfordern, lasse ich die Finger davon...

[ElektroRudi]

Zu früh gefreut
numpy und scipy wurden zwar automatisch installiert

2020-11-10 21:40:15 WARNING __main__ -------------------- Init SmartHomeNG 1.7.2.master (3828810e) --------------------
2020-11-10 21:40:15 WARNING __main__ Running in Python interpreter 'v3.7.3 final' on Linux-5.4.72-v7+-armv7l-with-debian-10.6 (pid=2679)
2020-11-10 21:40:16 ERROR lib.shpypi test_requirements: 'numpy' not installed, any version needed
2020-11-10 21:40:16 ERROR lib.shpypi test_requirements: 'scipy' not installed. Minimum v1.1.0 needed
2020-11-10 21:40:16 WARNING lib.shpypi Installing plugin requirements for the current user, please wait...
2020-11-10 21:40:16 WARNING lib.shpypi Using PIP command: '/usr/bin/pip3'
2020-11-10 21:41:39 WARNING lib.shpypi plugin requirements installed
2020-11-10 21:41:39 WARNING __main__ SmartHomeNG restarting, initiated by SmartHomeNG (Python package installation)

aber uzsu kann scipy nicht importieren

1-10 21:41:49 WARNING __main__ -------------------- Init SmartHomeNG 1.7.2.master (3828810e) --------------------
2020-11-10 21:41:49 WARNING __main__ Running in Python interpreter 'v3.7.3 final' on Linux-5.4.72-v7+-armv7l-with-debian-10.6 (pid=2697)
2020-11-10 21:41:50 WARNING lib.shtime Nutze Feiertage für Land 'DE', Provinz 'NI', State '', 1 benutzerdefinierte Feiertagsdefinition(en) definiert
2020-11-10 21:41:52 ERROR modules.mqtt Connection error: [Errno 111] Verbindungsaufbau abgelehnt
2020-11-10 21:41:52 WARNING modules.mqtt MQTT broker can not be reached. No messages are sent/received until the broker can be reached
2020-11-10 21:41:56 WARNING plugins.uzsu Unable to import Python package 'scipy' which is necessary for interpolation.
2020-11-10 21:41:56 ERROR lib.plugin Plugins: Plugin 'uzsu' initialization failed, plugin not loaded

Auch der PyPI Check ist i.O.
Screenshot 2020-11-11 124046.jpg
Ich bin jetzt ein wenig ratlos

[bmx]

Leider ist scipy nicht ok. Das Problem ist, das die Anzeige für die neueste Version nicht korrekt ist (liegt an pypi.org, ist im develop branch schon behoben worden) und laut requirements scipy in maximaler Version 1.5.1 sein sollte [scipy>=1.1.0,<=1.5.1;python_version=='3.7']

Du kannst mal python3 -m pip install "scipy>=1.1.0,<=1.5.1;python_version=='3.7'" --user --upgrade ausprobieren

[ElektroRudi]

Hab ich probiert, Version 1.5.1 ist auch installiert

Screenshot 2020-11-11 141457.jpg

aber:

2020-11-11 14:03:33 WARNING __main__ -------------------- Init SmartHomeNG 1.7.2.master (3828810e) --------------------
2020-11-11 14:03:33 WARNING __main__ Running in Python interpreter 'v3.7.3 final' on Linux-5.4.72-v7+-armv7l-with-debian-10.6 (pid=634)
2020-11-11 14:03:34 WARNING lib.shtime Nutze Feiertage für Land 'DE', Provinz 'NI', State '', 1 benutzerdefinierte Feiertagsdefinition(en) definiert
2020-11-11 14:03:39 WARNING lib.module Not loading module Mqtt from section 'mqtt': Module is disabled
2020-11-11 14:04:21 WARNING plugins.uzsu Unable to import Python package 'scipy' which is necessary for interpolation.
2020-11-11 14:04:21 ERROR lib.plugin Plugins: Plugin 'uzsu' initialization failed, plugin not loaded
2020-11-11 14:04:21 WARNING lib.item load_itemdefinitions(): For testing the joined item structs are saved to /usr/local/smarthome/etc/structs_joined.yaml

Bin mir nicht sicher ob das funktionieren sollte, aber habe mal python3 von der Konsole ausgeführt und versucht scipy zu importieren:

smarthome@raspberrypi:~ $ python3
Python 3.7.3 (default, Jul 25 2020, 13:03:44)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from scipy import interpolate
Traceback (most recent call last):
File "/home/smarthome/.local/lib/python3.7/site-packages/numpy/core/__init__.py", line 22, in <module>
from . import multiarray
File "/home/smarthome/.local/lib/python3.7/site-packages/numpy/core/multiarray.py", line 12, in <module>
from . import overrides
File "/home/smarthome/.local/lib/python3.7/site-packages/numpy/core/overrides.py", line 7, in <module>
from numpy.core._multiarray_umath import (
ImportError: libf77blas.so.3: cannot open shared object file: No such file or directory

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/smarthome/.local/lib/python3.7/site-packages/scipy/__init__.py", line 62, in <module>
from numpy import show_config as show_numpy_config
File "/home/smarthome/.local/lib/python3.7/site-packages/numpy/__init__.py", line 140, in <module>
from . import core
File "/home/smarthome/.local/lib/python3.7/site-packages/numpy/core/__init__.py", line 48, in <module>
raise ImportError(msg)
ImportError:

IMPORTANT: PLEASE READ THIS FOR ADVICE ON HOW TO SOLVE THIS ISSUE!

Importing the numpy C-extensions failed. This error can happen for
many reasons, often due to issues with your setup or how NumPy was
installed.

We have compiled some common reasons and troubleshooting tips at:

https://numpy.org/devdocs/user/troub...porterror.html

Please note and check the following:

* The Python version is: Python3.7 from "/usr/bin/python3"
* The NumPy version is: "1.19.4"

and make sure that they are the versions you expect.
Please carefully study the documentation linked above for further help.

Original error was: libf77blas.so.3: cannot open shared object file: No such file or directory

>>>

[bmx]

Ok, die Versionen für Numpy und Scipy stimmen ja. Laut dem Link oben https://numpy.org/devdocs/user/troub...porterror.html sollte es nach einem sudo apt-get install libatlas-base-dev funktionieren

[Onkelandy]

libatlas wäre der Klassiker.. steht aber auch hier im allerersten Post: https://knx-user-forum.de/forum/supp...Cr-uzsu-plugin

Das mit den Wheels muss ich noch anpassen, da in den neuesten Distributionen das automatisch so gemacht wird und man scipy nicht manuell runter laden muss.

[ElektroRudi]

Asche auf mein Haupt, in den Supportthread für UZSU Plugin habe ich nicht geschaut, ich habe das Problem halt woanders vermutet.

Nach sudo apt-get install libatlas-base-dev funktioniert es auch mit dem Raspberry Pi OS (32-bit) Lite.
Ich lade halt ungern Zeugs, das ich nicht benötige und fange mit der Lite-Version an. Der Raspberry ist halt sparsam und günstig. Mit einer guten SD-Card läuft er auch schnell und stabil über mehrere Jahre, nach eigener Erfahrung.