Grafana und InfluxDB neben Edomi. Installation und Best Practice

[saegefisch]

Vieles deutet übrigens daraufhin, dass docker in naher Zukunft von podman abgelöst wird.

Seit Jahren "in naher Zukunft"...irgendwie kommt die Community nicht in die Puschen und verharrt bei Docker. Trotz der objektiven Vorteile (zB kein root) - aber halt abseits der Verbreitung...die weiterhin für Docker spricht. Ist ein wenig wie MP3 und JPG... trotz besserer Alternativen wollen sie einfach nicht sterben oder zumindest die Alternativen Verbreitung finden...

Ich nutze ESXi als Type-1 Hypervisor, darauf eine Debian VM als Docker Host. Läuft super stabil.

Ach fein, dann bin ich ja nicht allein mit "doppelter Virtualisierung" - ich dachte damals, als ich es baute, dass wäre irgendwie "schräg", aber halt für mich dennoch passend. Offenbar für andere auch...

[Eddii]

Ich nutze ESXi als Type-1 Hypervisor, darauf eine Debian VM als Docker Host. Läuft super stabil.

So läuft bei uns auch Edomi als VM auf ESXi und eine separate Linux VM für Docker...
Bisher und seit mehreren Jahren keine Probleme!

Gruß
Eddii

[jonofe]

Diese Kombi macht wenig Sinn, sofern es überhaupt technisch geht. Proxmox ist eigentlich ein Type-1 Hypervisor. Den sollte man Bare-Metal installieren. Darauf dann eine VM als Docker Host und darauf dann die docker container. Nested virtualization mit Synology VMM, darauf Proxmox, darauf docker würde ich vermeiden. Auf ner synology kannst du natürlich auch docker machen. Für mich ist ein NAS aber ein Storage und kein Virtualisierungsserver.

Vieles deutet übrigens daraufhin, dass docker in naher Zukunft von podman abgelöst wird.

Ich nutze ESXi als Type-1 Hypervisor, darauf eine Debian VM als Docker Host. Läuft super stabil.

[beauty]

Hatte ich vor längerem mal bei DockerHub gesehen

[jonofe]

Wo gibt es denn einen Proxmox Docker Container?

[beauty]

Na gibt doch einen Proxmox Docker-Container.... und ich hätte eine Synology NAS mit Docker... meine Frage zielt eher auf die Performance ab...

[knxheu]

Proxmox ist selbst eine Virtualisierungsplattform. So gesehen ergibt die Frage nicht soo viel Sinn.

[beauty]

Hier mal eine Zwischenfrage.... sollte man Proxmox eher auf bare Metal oder Virtualisiert z.b. als Docker etc. betreiben?

[stonie2oo4]

Zunächst finde ich, dass das Thema Backup einen eigenen Thread verdient hätte.

Hab ich gemacht, war mir beim Schreiben auch nicht so ganz schlüssig ob hierhin oder extra 😅.
Hier gehts dann weiter mit dem Backup-Thema:
https://knx-user-forum.de/forum/proj...db-und-grafana

[jonofe]

Zunächst finde ich, dass das Thema Backup einen eigenen Thread verdient hätte.

Zum Problem: Sicher, dass das Token ausreichende Berechtigung hat?
Ein Option -u gibt es bei "influx backup" nicht.

[stonie2oo4]

So, ich bin wieder einen kleinen Schritt weiter. Hab jetzt mal zwischenzeitlich den LBS von jonofe installiert. Vielen Dank dafür 😁.
Hatte nur ein kleines Problem bei der Installation, aber nach ausführen von folgendem Tipp hat es dann auch wie gewollt funktioniert:
https://knx-user-forum.de/forum/proj...63#post1805463

Davor hab ich mir mal Gedanken gemacht wie ich das ganze mit dem Backup gestalte. Ich wollte eigentlich erst mal klein anfangen und probieren das ganze auf nem USB-Stick zu machen und später dann evtl. in eine cloud schieben. Während meiner Findungsphase 😅 bin ich dann auf folgendes tolles gestoßen: https://rclone.org/
Hiermit ist es möglich per shell Dateien zu verschiedenen cloud Anbietern zu sichern. Ebenso lässt sich das cloud-drive im Dateisystem mounten ( was ich aber in dem Fall glaube ich nicht benötige )
Ich hab mich dann kurzerhand für googledrive entschieden, da ich damit schon ein bisschen Erfahrung habe und es recht angenehm zu bedienen ist, außerdem gibt es 15GB kostenlos und selbst falls das nicht mehr reichen sollte sind die Preise doch recht human.

Die Installation war total easy, bloß die Einrichtung war ein bisschen fummelig da man bei google-api eine client-id erstellen muss und später bei rclone während der Einrichtung verwenden muss. Das problematischste war das mein Server headless ist, aber während der Installation automatisch der Browser geöffnet werden sollte wo man da bei google die Erlaubnis für den Zugriff erteilen muss. Es gibt dafür einen Workaround indem man den generierten key mit einem anderen PC mit rclone ausführt.
Da es rclone auch für Windows gibt hab ich das dann kurzerhand hier erledigt. Bis ich aber die ganzen Infos zusammen hatte hab ich schon paar Stunden gesucht 😅.

Falls jemand Interesse hat, dann kann ich gern mal eine kleine Anleitung zusammen schreiben wie das ganze funktioniert.


Jetzt bin ich grad dran mir ein, oder mehrere ( bin noch am testen ) Backup script/e zusammen zu schreiben /suchen.
Was schon funktioniert: Ich hab 3 Verzeichnisse in /tmp angelegt. backup_influx, backup_grafana, backup_mariadb ( hab noch zufällig meine Kodi Datenbank auf dem Server ).
Nun hab ich folgenden script gefunden und ein bisschen umgebaut:

#!/bin/bash

listOfDirs=(/backup_influx /backup_grafana /backup_mariadb)

rcloneConfig=/root/.config/rclone/rclone.conf
rcloneOptions="-v --ignore-checksum --ignore-size --local-no-check-updated"

echo  $(date +"%Y-%m-%d %H:%M:%S") : backup started

for dir in "${listOfDirs[@]}"
do
   :
   echo  $(date +"%Y-%m-%d %H:%M:%S") :  backup of $dir
   rclone $rcloneOptions --config=$rcloneConfig sync $dir googledrive:/backup/$dir
done

echo  $(date +"%Y-%m-%d %H:%M:%S") :  backup complete​

Ob der script funktioniert weiß ich noch nicht, aber wenn ich folgenden Befehl in der shell ausführe ( also ohne Variablen ):

rclone $rcloneOptions --config=$rcloneConfig sync $dir googledrive:/backup/$dir

Dann schiebt er mir das komplette Verzeichnis auf google-drive. Soweit so gut.
Ziel soll es sein ein tägliches Backup von influxdb, grafana und mariadb zu erstellen und nach erfolgreicher Erstellung hochzuladen in die cloud.
Am schönsten wäre, wenn man immer so 5-10 Backups behalten könnte und dann immer das letzte löschen.
Und was ich auch zufällig gefunden habe, für Grafana gibt es sogar ein Dashboard für rclone, womit ich mich bisher aber noch nicht weiter beschäftigt habe.
https://grafana.com/grafana/dashboar...hboard-rclone/


Nun bin ich grad noch dabei rauszufinden wie ich die einzelnen backups erstelle. Ich hab mal mit influx angefangen, aber iwie will das ganze nicht so richtig wie in der influxdb Anleitung beschrieben funktionieren. Hat sich schon mal jemand hierzu Gedanken gemacht, bzw. schon ein backup davon umgesetzt?


Ich probier es momentan mit diesem Befehl in der shell:

influx backup /tmp/backup_influxdb_$(date '+%Y-%m-%d_%H-%M') -t "api admin token"

Daraufhin kommt folgender Fehler:

2022/11/25 19:08:16 INFO: Downloading metadata snapshot
Error: failed to backup metadata: failed to download metadata snapshot: 401 Unauthorized: read:authorizations is unauthorized
​

Wenn ich das ganze noch mit dem -u flag mit user angebe:

influx backup /tmp/backup_influxdb_$(date '+%Y-%m-%d_%H-%M') -u admin -t "api admin token"

Dann kommt ein anderer Fehler:

Error: backup path must be specified as a single positional argument

Jemand eine Idee woran das liegen kann?

[marhal]

baumhaus123 habe ich ja. War ein Schreibfehler meinerseits. Aber im Rockylinux gibt es kein apt-get, da er sich ja auf yum stützt.

[baumhaus123]

Da habe ich das abt-get nicht.

Versuch‘s mal mit hartem „b“. 😉

[marhal]

Hallo alle zusammen,

ich wollte gerade den LBS Influx Data Archives in betrieb nehmen, und war dabei die Anleitung durchzugehen. Dabei muss ich ja noch ein was nach installieren.
Leider bleibe ich bei dem ersten install.sh script hängen, da er folgende modul nicht findend l"ibmysqlclient15-dev". Ich nutze EDOMI auf einem Proxmox LCX Container mit RockyLinux. Da habe ich das abt-get nicht. Und wenn ich mit yum das Paket installieren will, findet er es nicht . Hat jemand eine Idee wie ich da weiter komme ?

Gruß
Marhal

[DJens]

Habe gerade deine Antwort gelesen saegefisch ! Vielen Dank! Ich denke, ich werde die Tage mal zunächst einen NUC bestellen und dann nach und nach alles (Edomi auf LXC, Grafana und Influx) aufsetzen. Eine SSD als Influx Datengrab ist noch da.
Ich bin zutiefst beeindruckt von deinem Setup. Im ersten Schritt ging es mir darum, Edomi vom NAS wegzubekommen und Zeitreihen außerhalb von Edomi zu speichern und vernünftig visualisieren zu können und mir dabei etwas Luft für weitere Dinge zu lassen.
Vielen Dank nochmal 🙏
Und soo OT fand ich es vor diesem Hintergrund gar nicht. 😊