Ankündigung

**stonie2oo4** · 25.11.2022, 21:17

jonofe
Den Token den ich verwende ist derselbe wie bei deinem LBS in edomi.
Hab mal ein Screenshot aus der influxdb Weboberfläche gemacht, sollte eigentlich alle Berechtigungen haben:
Oder gibts hier noch nen anderen Token?

adminToken.jpg

**jonofe** · 25.11.2022, 21:45

Ich denke du brauchst ein All-Access-Token.
Das kann m.W. mehr als ein User-Token mit allen Berechtigungen.

**stonie2oo4** · 25.11.2022, 22:32

mhh, komm ich irgendwie an den ran?
Bzw. kann man da einen neuen generieren?

**jonofe** · 25.11.2022, 23:01

Ja einfach token über das Web UI erstellen und all access token auswählen.

**stonie2oo4** · 25.11.2022, 23:26

Hab jetzt zur Sicherheit nochmal einen neuen erstellt, der davor sollte aber auch schon ein all access token gewesen sein.
Leider kommt mit diesem die gleiche Fehlermeldung.

**NorbertB** · 26.11.2022, 13:27

Nochmal zur ursprünglichen Frage, der eigentlichen Sicherung.

Mein Script dafür sieht so aus:

Code:

#!/bin/sh -x

export MOUNT=/qnap

if grep -qs $MOUNT /proc/mounts; then
  echo "Ist bereits gemounted."
else
  echo "Ist nicht gemounted."
  mount $MOUNT;
  if [ $? -eq 0 ]; then
   echo "Mount success!"
  else
   echo "Something went wrong with the mount..."
  fi
fi

#Edomi-Backups kopieren
/bin/cp -u /var/edomi-backups/*.edomibackup /qnap/Datensicherung/edomi/
/bin/find /qnap/Datensicherung/edomi/ -iname "*.edomibackup" -mtime +20 -delete

# Backup InfluxDB
influx backup -o InfluxData -b edomi /qnap/Datensicherung/InfluxDB -t <Admin-Token>
/bin/find /qnap/Datensicherung/InfluxDB/ -mtime +7 -delete

# Backup Grafana
cp /var/lib/grafana/grafana.db /qnap/Datensicherung/Grafana/grafana_$(date +%Y%m%d).db
/bin/cp /etc/grafana/grafana.ini /qnap/Datensicherung/Grafana/grafana_$(date +%Y%m%d).ini
/bin/find /qnap/Datensicherung/Grafana/ -mtime +7 -delete

# umount /qnap
echo `date +%F`" "`date +%H:%M:%S`" - Backup fertig :)"

Zuerst wird überprüft ob das Netzwerkshare (Qnap) gemountet ist, wenn nicht wird gemountet.
Danach werden die Edomi-Backups auf die Qnap kopiert und dort alles was älter als 20 Tage ist gelöscht.
Im nächsten Schritt wird ein Backup der Influx-DB erstellt und auf der Qnap abgelegt. Hier erfolgt dann eine Bereinigung für alles was älter als 7 Tage ist.
Für das Backup von Grafana genügt es die Datenbank und das ini-File weg zu kopieren.

Recovern funtioniert bei mir so:
Installation von influxdb und grafana auf dem neuen System.

Code:

influx setup --token <Admin-Token vom Quell-System>

Neue Datenbank wird angelegt, hier die selben Informationen angeben wie bei der Quelldatenbank (User, Organisation, Bucket, etc.)

Code:

influx restore --full /qnap/Datensicherung/InfluxDB/

(Pfad zur Dicherung der Datenbank)
Damit steht die Datenbank mit exakt dem Stand der letzten Sicherung.

Code:

cp /qnap/Datensicherung/Grafana/grafana_<letzte>.db /var/lib/grafana/grafana.db
cp /qnap/Datensicherung/Grafana/grafana_<letzte>.ini /etc/grafana/grafana.ini
systemctl restart grafana-server

Jetzt steht auch Grafana mit dem Stand der letzten Sicherung wieder zur Verfügung.

Das Backup-Script läuft per Cron jede Nacht nach der Edomi-Sicherung.

Zusätzlich sichere ich dann noch per Veeam den gesamten Edomi-Rechner (im 3-Stunden Rhytmus).
Damit bin ich in der Lage nach einem Totalausfall des Edomi-Rechners innerhalb von 10 Minuten auf ein vollständig eingerichtetes System zugreifen zu können (identische Hardware vorausgesetzt).

**stonie2oo4** · 28.11.2022, 21:44

Also ich hab jetzt influxdb nochmal erneut installiert und festgestellt das tatsächlich nur der initial erstellte access token zum Backup erstellen funktioniert.
Also ganz WICHTIG: DIESEN NICHT LÖSCHEN. Ich wusste den Token nicht, deshalb hab ich ihn gelöscht und einfach einen neuen generiert, aber das hat nicht funktioniert. Fall jemand auch nicht weiß wie er an den initialen token kommt. Einfach einen 2ten all access token erstellen und mit diesem bekannten in der shell folgendes aufrufen:

Code:

influx auth list -t <neu erstellert token>

Damit wird dann euer initialer admin token aufgelistet. Ein bisschen gaga, aber ok wenn mans weiß 😅.

NorbertB
Vielen Dank fürs teilen deines Backup Skriptes. Hat mir sehr geholfen bei meiner Umsetzung.
Besonders bei grafana, war es wesentlich einfacher als das was ich gefunden haben 👍.

Ich hab das ganze jetzt folgendermaßen gestaltet.
Für jeden Dienst gibt es einen eigenen skript zum Backup erstellen. Im Prinzip immer nach dem gleichen Schema:
- ggf. temporären Ordner anlegen
- Backup erstellen
- Backup zippen
- temporären Ordner samt Inhalt löschen
- Alle gezippten Archive löschen, abgesehen von den letzten 5 (ist einstellbar)
Hier die Skripte die ich verwende:

Grafana:

Code:

#!/bin/bash
TIMESTAMP=$(date +"%Y.%m.%d-%H.%M.%S")
BACKUP_DIR="/tmp/backup_grafana"
FILES_KEEP=5

# Temporaeren Ordner anlegen, falls nicht vorhanden
if [ ! -d $BACKUP_DIR/data ] ; then
    mkdir -p $BACKUP_DIR/data
fi

# Grafana Backup erstellen
cp /var/lib/grafana/grafana.db $BACKUP_DIR/data/grafana.db
cp /etc/grafana/grafana.ini $BACKUP_DIR/data/grafana.ini

# erstelle Archiv mit Zeitstempel
tar cvfz $BACKUP_DIR/grafana-$TIMESTAMP.tgz $BACKUP_DIR/data

# lösche den temporaeren Backup Ordner
rm -r $BACKUP_DIR/data

# loesche alle backups, abgesehen von den letzten 5
ls -tp "$BACKUP_DIR"**/* | grep -v '/$' | tail -n +$((FILES_KEEP+1)) | xargs -d '\n' -r rm --

Influxdb:

Code:

#!/bin/bash
TIMESTAMP=$(date +"%Y.%m.%d-%H.%M.%S")
BACKUP_DIR="/tmp/backup_influxdb"
TOKEN="INITIALER ADMIN TOKEN"
FILES_KEEP=5

# Temporaeren Ordner anlegen, falls nicht vorhanden
if [ ! -d $BACKUP_DIR/data ] ; then
    mkdir -p $BACKUP_DIR/data
fi
# Backup der Influx Datenbank
influx backup $BACKUP_DIR/data -t $TOKEN

# erstelle Archiv mit Zeitstempel
tar cvfz $BACKUP_DIR/influxdb-$TIMESTAMP.tgz $BACKUP_DIR/data

# lösche den temporaeren Backup Ordner
rm -r $BACKUP_DIR/data

# loesche alle backups, abgesehen von den letzten 5
ls -tp "$BACKUP_DIR"**/* | grep -v '/$' | tail -n +$((FILES_KEEP+1)) | xargs -d '\n' -r rm --

Und bei mir noch mariadb: (hier muss für den backupuser noch eine my.cnf erstellt werden mit dem zugehörigen Passwort. Und in mariadb hat der backupuser auch nur lesende Rechte)

Code:

#!/bin/bash
TIMESTAMP=$(date +"%Y.%m.%d-%H.%M.%S")
BACKUP_DIR="/tmp/backup_mariadb"
USER="backupuser"
FILES_KEEP=5

# Backup der MariaDB Datenbank und gleichzeitig komprimieren
/usr/bin/mysqldump -u $USER --all-databases | gzip > $BACKUP_DIR/mariadb_backup_$(date '+%Y-%m-%d_%H-%M').sql.gz

# loesche alle backups, abgesehen von den letzten 5
ls -tp "$BACKUP_DIR"**/* | grep -v '/$' | tail -n +$((FILES_KEEP+1)) | xargs -d '\n' -r rm --

Und dann gibt es noch einen skript der mittels rclone die Backup-Verzeichnisse mit in meinem Fall googledrive synchronisiert.
Das ganze funktioniert hier beim Test recht gut. Genial ist auch wie ich finde, das somit auf googledrive immer nur die letzten 5 Backups gehalten werden, da die lokalen Ordner syncronisiert werden. Kann man ggf. auch erhöhen, muss aber erstmal ein Gefühl bekommen wie viel Speicher die Backups mit der Zeit benötigen.

rclone Skript:

Code:

#!/bin/bash

listOfDirs=(backup_influxdb backup_grafana backup_mariadb)

rcloneConfig=/root/.config/rclone/rclone.conf
rcloneOptions="-v --ignore-checksum --ignore-size --local-no-check-updated"

echo  $(date +"%Y-%m-%d %H:%M:%S") : backup started

for dir in "${listOfDirs[@]}"
do
   :
   echo  $(date +"%Y-%m-%d %H:%M:%S") :  backup of $dir
   rclone $rcloneOptions --config=$rcloneConfig sync /tmp/$dir googledrive:/backup/$dir
done

echo  $(date +"%Y-%m-%d %H:%M:%S") :  backup complete

Nächster Schritt ist jetzt das ganze mittels cron job noch zu automatisieren. Hier muss ich mich aber erstmal noch einlesen, sollte aber auch nicht allzu komplex sein 😅. Ich möchte im Prinzip erst die 3 Backup skripte ausführen, hier ist die Frage ob man die simultan macht oder hintereinander (kann man das überhaupt wählen???). Einmal täglich sollte genügen. Und im Nachgang dann den Skript für den Upload. Hier frag ich mich ob man iwie überwachen muss ob vor dem upload auch die Backups sauber durchgelaufen sind. Muss ich mal beobachten.

Man könnte theoretisch die Backups auch erst auf nen USB-Stick sichern und von hier dann in die cloud. So hätte man beim Ausfall von Server/Festplatte + Stick oder Cloud noch einen weiteren Fallschirm. Ich werds vermutlich jetzt erstmal nur mit lokalem Backup + Cloud betreiben. Sollte eigentlich sicher genug sein... Hoff ich😂

**stonie2oo4** · 28.11.2022, 22:36

Cronjobs hab ich jetzt auch angelegt.
Mach einmal täglich von jedem Dienst ein Backup, ich fang mit dem ersten um 21 Uhr an und führe jedes weitere Backup mit 1h Abstand aus. Sollte auch zukünfig mehr als übrig reichen bei steigender Datenmenge. Und die Uhrzeit ist im Prinzip unerheblich, Hauptsache 1mal täglich.
Cronjobs werden mittels "crontab -e" angelegt (falls jemand genauso wenig Ahnung hat wie ich 😅)
Hab dann am Schluss einfach folgende Zeilen eingefügt (Achtung. letzte Zeile muss eine Leerzeile oder Kommentar sein):

Code:

0 21 * * * /usr/local/sbin/backup_grafana.sh >>/var/log/cron/backup_grafana_$(date +\%Y\%m\%d).log
0 22 * * * /usr/local/sbin/backup_mariadb.sh >>/var/log/cron/backup_mariadb_$(date +\%Y\%m\%d).log
0 23 * * * /usr/local/sbin/backup_influxdb.sh >>/var/log/cron/backup_influxdb_$(date +\%Y\%m\%d).log
0 0 * * * /usr/local/sbin/upload_googledrive.sh >>/var/log/cron/backup_upload_googledrive_$(date +\%Y\%m\%d).log

Ankündigung

Backup von InfluxDB und Grafana

Backup von InfluxDB und Grafana

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar