SmarthomeNG v1.9.2 Image für Raspberry Pi

[Fermi]

Die RAM-Auslastung ist immer weiter angestiegen und wurde mir in der Zwischenzeit zu hoch.
SHNG_11.1.9.2_Monitgraph_localhost_2.png
Am 18.6. habe ich dann einfach die Services Promtail und Loki deaktiviert. Die Ursache ist offensichtlich.

[Fermi]

Entschuldige bitte, dass es etwas gedauert hat. Komme leider nicht häufig dazu, mich mit der Sache zu beschäftigen.
Dafür das ich nur die Dienste installiert, aber nicht weiter konfiguriert habe und das System seitdem ohne Aufgabe in Betrieb ist, steigt die RAM Auslastung bisher aber schon ziemlich an.
SHNG_11.1.9.2_Monitgraph_localhost.png
Die anderen in Monit konfigurierten Dienste alle sind unauffällig.
Eine Idee, wie ich eingrenzen kann, wo das herkommt?

[Onkelandy]

Danke!
bei mir gibt es leider wegen loki/promtail kurz nach Mitternacht hohe RAM Auslastung. Vermutlich wegen logrotation. Hast du das auch? Könntest über Monit beobachten

[Fermi]

Damit die Installation von Grafana (mit Loki und Promtail) mit dem SHNG11.1.9.2 Image komplett durchläuft, habe ich die fehlenden Config-Dateien als User smarthome folgendermaßen heruntergeladen.

cd /etc/ansible/configs/
wget https://raw.githubusercontent.com/smarthomeNG/ansible/master/raspbian/configs/config-loki.yaml
wget https://raw.githubusercontent.com/smarthomeNG/ansible/master/raspbian/configs/config-promtail.yaml
wget https://raw.githubusercontent.com/smarthomeNG/ansible/master/raspbian/configs/loki.service
wget https://raw.githubusercontent.com/smarthomeNG/ansible/master/raspbian/configs/promtail.service
wget https://raw.githubusercontent.com/smarthomeNG/ansible/master/raspbian/configs/nginx.json
wget https://raw.githubusercontent.com/smarthomeNG/ansible/master/raspbian/configs/smarthome.json

Darüberhinaus musste ich

/etc/ansible/playbooks/grafana_Raspi3.yml

durch die Version aus dem Github-Repository (Link) ersetzen und neben den von Onkelandy angesprochenen "remote_src" Ergänzungen noch ein paar Pfade korrigieren.
Änderungen als Patch hängen an.

Bei der Installation tauchen allerdings immer wieder folgende Warnings auf:

TASK [datasource1] ************************************************** *******************************
[WARNING]: Skipping plugin (/usr/lib/python3/dist-packages/ansible/plugins/filter/core.py) as it
seems to be invalid: cannot import name 'environmentfilter' from 'jinja2.filters'
(/home/smarthome/.local/lib/python3.9/site-packages/jinja2/filters.py)
[WARNING]: Skipping plugin (/usr/lib/python3/dist-packages/ansible/plugins/filter/mathstuff.py) as
it seems to be invalid: cannot import name 'environmentfilter' from 'jinja2.filters'
(/home/smarthome/.local/lib/python3.9/site-packages/jinja2/filters.py)
ok: [localhost]

Da InfluxDB und Grafana nun aber vollständig installiert ist, habe ich mich darum nicht weiter gekümmert.

[bmx]

Es gibt zwei Hue Plugins, nur hue2 wird aktiv weiterentwickelt so wie ich das sehe.

Am Besten wäre es wenn Du im Support Thread nach Hilfe fragst wenn es noch Probleme gibt nachdem Du Dir die Doku angesehen hast.

[digifurz]

HI,
und siehe da mein UI ist wieder da😃. Danke danke danke.
hab die hue in der plugin.yaml rausgenommen smarthome neu gestartet und UI ist wieder da.
Warum hat smarthom das plugin aktiviert obwohl ich extra drauf geachtet habe das sie nicht aktiviert ist.
Nichts desto trotz es geht und es hat mein problem gelöst. danke noch mal wieder was gelernt.
aber hätte mir klar sein müssen ist nicht mein erstes Raspi Pojekt.

dann hätte ich noch eine Frage.
ich brauch die Hue unbediengt weill meine ganze Garten Beleuchtung aus hue besteht, war keine mölichkeit für KNX.
wenn ich die hue wieder aktiviere und in der .yaml bearbeite müsste alles funken oder.


gruß digifurz

[digifurz]

Hi bmx,
danke für die schnelle Antwort, werde es gleich testen wenn ich zuhause bin, muss noch ne halbe stunde malochen. Werde dann berichten was ich erledigen konnte oder was die log Dateien ausgespuckt haben.

[bmx]

In Deinem Fall bietet sich die Doku unter www.smarthomeng.de an. Dort steht erläutert, wie die Konfiguration auch ohne die GUI geht.

In deinem Fall wäre die erste Anlaufstelle mal der Besuch im Ordner /usr/local/smarthome/var/log
Dort findest Du auch die smarthome-warnings.log in der etwas drinstehen sollte, warum SHNG nicht startet.

In der Datei /usr/local/smarthome/etc/plugins.yaml stehen die Konfigurationen der Plugins. Dort kannst Du ggf. den Abschnitt zu Hue2 komplett rauswerfen und dann einen Neustart machen. Der Neustart geht von der Kommandozeile (shell) aus im Verzeichnis /usr/local/smarthome mit python3 bin/smarthome.py -r

[digifurz]

hallo zusammen,
bin neu hier und bin auf der suche nach einer Lösung für mein Problem. Bin gerade im Aufbau meiner KNX-Verteilung und bin auf der suche nach einer guten Visualisierung. Das ganze Projekt hier hört und sieht sich sehr gut an, hab auch alles soweit mit dem fertigem Image gut hinbekommen hab aber da das gleiche Problem wie schon im Post 4 beschrieben, ich kann die Admin Seite nicht mehr aufmachen, nach einem Neustart.
Der Fehler ist aufgetreten als ich das hue2 Plugin ausgewählt habe und die Oberfläche neu geladen habe ohne das Plugin zu aktivieren.
kann mir da jemand weiter helfen. will nicht schon wieder von vorne anfangen. wäre dann das 6 mal😖. Die Smartvisu Seite ist weiterhin erreichbar nur nicht smarthomeng unter IP:8383
für jeden Hinweis bin ich dankbar.

Gruß Digifurz

[Onkelandy]

Super danke dir für die Hinweise!! Da muss ich mich wohl mal genauer damit beschäftigen. Tatsächlich müsste ich da noch ein paar Config Files mit rüber kopieren für die Ansible Sache. Apropos. Das Problem bei loki liegt darin, dass beim Ansible Playbook das "remote_src: True" fehlt.

Das private homebridge Zeugs ist tatsächlich nur für mich "privat", stört aber auch nicht.

Die fehlenden Configs kannst du dir vorerst mal hier ziehen: https://github.com/smarthomeNG/ansib...spbian/configs

[Fermi]

Onkelandy Danke dir für deine ganze Arbeit und das Update.

Ich habe mich weiter mit der Einrichtung des Systems beschäftigt, dabei sind mir ein paar Punkte aufgefallen, die ich hier mal zusammenfasse, um zur Verbesserung beizutragen.

1) Eine Kleinigkeit
Nach dem ersten Boot des frisch geflashten Systems (SHNG 11.1.9.2) wird folgende Meldung angezeigt:

Welcome to Smarthome Image 11.1.8 - At your ...

Sollte wohl eher 11.1.9.2 heißen, aber ich weiß nicht, wo die Meldung herkommt.


2)
Das System bootet mit Auto-Login für den User "pi", sodass keinerlei Passwort eingegeben werden muss. Passwort ist das bekannte "raspberry". "pi" hat genauso wie "smarthome" sudo-Rechte.
Ist das so gewollt?


3)
Zu Beginn des ersten Durchlaufs von

setup_all

wird

setup_restore.sh

aufgerufen. Wenn ich dort nur meine InfluxDB einspielen möchte, kommt aber eine Fehlermeldung, da Influx natürlich noch garnicht installiert ist:

Do you want to restore your influxdb database? The current influxdb database will be erased!
If yes, you need to place the influxdb_backup.tar file in the /home/smarthome/backup folder now.
1) Restore
2) Skip
#? 1

Restore of influxdb is running.

sudo: influx: Befehl nicht gefunden
sudo: influxd: Befehl nicht gefunden
Restored influxdb database and deleted /home/smarthome/backup/influxdb folder. Compressed backup still exists in /home/smarthome/backup.

Sollte man nicht besser als Vorbedingung prüfen, dass Influx schon installiert ist?


4)
Die Installation von Homebridge und InfluxDB wird verweigert, da in beiden Skripten ein paar Revision Codes für die RPi4 fehlen.
Als Liste habe ich https://elinux.org/RPi_HardwareHisto...vision_History herangezogen. Das hatten wir früher schon mal.
Patches hängen an, damit läuft die Installation von Homebridge und InfluxDB auf meinem RPi4 schon mal durch.


5)
Bei der Installation von Loki kommt es (auch mit der neuesten Version des Grafana Playbooks von Github) zu folgender Fehlermeldung, bei der ich nicht verstehe, wie sie zustande kommt:

GRAFANA: Web Service to configure and show influxdb graphs as well as log files using loki. (currently not installed)
1) Install
2) Skip
#? 1
/home/smarthome/.local/lib/python3.9/site-packages/paramiko/transport.py:236: CryptographyDeprecationWarning: Blowfish has been deprecated
"class": algorithms.Blowfish,

PLAY [Install Grafana] ************************************************** *********************************************
...

TASK [rooturl] ************************************************** ************************************************** ***
changed: [localhost]

TASK [download loki 2.4.2] ************************************************** *****************************************
fatal: [localhost]: FAILED! => {"changed": false, "msg": "Could not find or access 'https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-arm.zip'\nSearched in:\n\t/etc/ansible/playbooks/files/https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-arm.zip\n\t/etc/ansible/playbooks/https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-arm.zip\n\t/etc/ansible/playbooks/files/https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-arm.zip\n\t/etc/ansible/playbooks/https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-arm.zip on the Ansible Controller.\nIf you are using a module and expect the file to exist on the remote, see the remote_src option"}

PLAY RECAP ************************************************** ************************************************** *******
...

Kannstu mir da weiterhelfen?
Zur Installation von Promtail kommt es dann erst garnicht.

Wenn ich das Grafana Playbook grafana_Raspi3.yml durchschaue, fällt mir noch auf, dass folgende Dateien im Image fehlen, auf die aber (scheinbar?) verwiesen wird:

/etc/ansible/configs/config-loki.yaml
/etc/ansible/configs/config-promtail.yaml
/etc/ansible/configs/loki.service
/etc/ansible/configs/promtail.service
/etc/ansible/configs/nginx.json
/etc/ansible/configs/smarthome.json

Da aber schon die Installation von Loki scheitert, werden die Abschnitte nicht abgearbeitet. Ich denke, da würde es nach einem Fix als nächstes klemmen.


6)
Im Homebridge Playbook gibt folgenden Abschnitt:

- name: Copy private config
copy:
src: ../private/homebridge_config.json
dest: /home/smarthome/.homebridge/config.json
owner: smarthome
group: smarthome
mode: 775
when: "inventory_hostname == 'wz'"

- name: Copy config
copy:
src: ../configs/homebridge_config.json
dest: /home/smarthome/.homebridge/config.json
owner: smarthome
group: smarthome
mode: 775
when: "not inventory_hostname == 'wz'"

Beide Abschnitte kopieren doch auf das gleiche Ziel und würden sich damit überschreiben, oder nicht? Die Datei

/etc/ansible/private/homebridge_config.json

existiert aber im Image überhaupt nicht.
Ist der erste Block also ggf. veraltet?


So, das war es erstmal für den Moment.

Die Funktionsweise der Ansible Playbooks habe ich nicht versucht zu verstehen, daher kann es sein, dass ein paar der Punkte oben so in Ordnung sind.
Gerne kann ich Änderungen testen. Kann aber ein paar Tage dauern, bis ich dazu komme.

[Onkelandy]

Danke dir für die Hinweise! Hab ich aktualisiert, ansible auf Github ist nun auch aktuell.
Bezüglich Image Update muss ich mal schauen, ob es da n Fixrelease gibt, da die Änderungen doch nur wenige betreffen dürften.

[Fermi]

Onkelandy Besten Dank für das neue Image.

In SmarthomeNG 1.8.2 Image für Raspberry Pi ging es um die Verschlüsselungs- und Entschlüsselungs-Befehle in setup_backup.sh und setup_restore.sh.
Auf dieses Problem war ich schon bei meinem Versuch endlich mal mein laufendes System (SHNG 1.6.1) neu aufzusetzen gestoßen.

Im korrigierten Decryption-Befehl hat sich aus meiner Sicht dort wie leider auch im aktuellen Image ein Fehler eingeschlichen. Die Option muss "-d", nicht "-e" sein.
Korrekt:

sudo openssl enc -d -iter 2 -v -aes-256-cbc -in /$backupfolder/image_backup_encrypted.tar -out /$backupfolder/image_backup.tar

Beide Änderungen sind im Github Repository auch noch nicht zu finden.
Onkelandy: Könntest du das Repo mal auf den aktuellen Stand bringen? Danke.


Das Backup-Skript enhält aus meiner Sicht auch noch ein paar falsche Test-Optionen.
So wird zum Beispiel bei mir im alten System (SHNG 1.6.1) das Datenbank-Backup durch InfluxDB erstellt, aber das Skript behauptet, dass kein Daten vorhanden wären, die in gepackt werden können.
Meldung:

No influxdb database found. Nothing backed up.

Der Ordner backup/influxdb/ existiert aber und enthält Daten.
Das liegt aus meiner Sicht an der Bash Test-Option "-z", die an der Stelle keinen Sinn ergibt (vgl. https://linuxhint.com/bash-test-command/).

Im Anhang ein Diff-Patch für das Backup-Skript. Die Kommentare müssen natürlich nicht mit ins Skript übernommen werden
Mit dem gepatchten Skript funktioniert auf meinem alten System auch das Backup so wie es soll. Komplett getestet ist das aber nicht, da ich nicht alle betroffenen Pakete installiert habe und nutze.

[Onkelandy]

Soda, Image für SHNG 1.9.2 ist online, siehe erstes Posting. Keine spektakulären Neuerungen, aber ein paar Aktualisierungen, va. Fix für github.


Msinn kannst du bitte den Title des Beitrags updaten? Danke

[Onkelandy]

WolfgangVolk Schreibst du mir trotzdem bitte kurz, was bei "which pip3" rauskommt?