Edomi als VM / fstrim

[sipiyou]

Ich hab eben etwas gesucht, aber finde hier nichts passendes.

Soweit ich es überblicke, haben einige Edomi als Vhost laufen. Wie pflegt ihr die VM ?

Das Problem ist ja, dass die VM mit der Zeit immer größer wird und getrimmt werden muss. Ich hab eben vor dem Update auf 2.01 das Image nach dem herunterfahren des Servers offline verkleinert (von 33 GB -> 10 GB)

Trimmt jemand das Image zur Laufzeit mit fstrim ? Ich bin mir momentan nicht sicher, ob Centos 6.5 das so unterstützt.

Bevor ich hier Zeit reinstecke, macht das jemand ?

[starwarsfan]

Hi

Eine VM muss getrimmt werden? Sagt wer? Aber man lernt ja nie aus, von daher wäre es interessant zu wissen, warum!? Ich weiss nicht, seit wievielen Jahren ich VMs verwende, in den unterschiedlichsten Variationen aber getrimmt habe ich noch nie eine.

[ChrisChros]

Also davon höre ich jetzt auch das erste mal, hab ich bisher noch nie gemacht. Einen Anlass das zu machen hatte ich bisher aber auch noch nie gesehen.

[sipiyou]

Ja, muss Das Problem hab ich auch bei unseren externen Vhosts.

Hier mal bischen was zum nachlesen:

https://dustymabe.com/2013/06/11/rec...discardfstrim/

Hab meinen Fehler gefunden. Ich hatte unter KVM virtio als Bus für die Festplatte ausgewählt. Hier muss SCSI genommen werden, dann kann man fstrim / ausführen und das Image schrumpft.

per cron 1x die Woche ausführen, dann wuchert das Teil auch nicht.

Die Einstellung unter KVM kann man übrigens so ausführen. Edomi runterfahren, Server runterfahren und dann die Disk-Einstellung auf SCSI umändern.

/edit:

Hier ist es auch bebildert:
https://kparal.wordpress.com/2017/10...-delete-files/

[vento66]

Wenn die Disk ne feste Grösse hat, brauchst sicher auch nichts trimmen. Aber davon höre ich auch zum ersten Mal, und mein EDOMI läuft schon seit Anfang an in der selben VM.

[jonofe]

Ich denke auch das gilt nur für Thin Provisioned VMs. Über welchen Virtualisierer sprechen wir denn überhaupt?
Grundsätzlich kenne ich die Notwendigkeit von TRIM auch nur bei SSDs. Geht es um Thin Provisioned VMs auf SSDs?
Ich provisioniere alle meine VMs thick, da kenne ich diese Probleme nicht.

[sipiyou]

Probiert es selbst auf eurer VM aus. Falls die unter SCSI läuft, dann fstrim -v / ausführen. Der Befehl gibt dann die Bytes aus, die freigegeben worden sind.

Ihr könnt ja vorher die Dateigröße auf dem Host überprüfen. Hier meine Images:

edomi.qcow2.backup.200 = das original seit Installation bis heute
edomi.qcow2 = getrimmt.

-rw-r--r-- 1 libvirt-qemu libvirt-qemu 10671554560 Feb 1 22:54 edomi.qcow2
-rw------- 1 root root 35189751808 Feb 1 21:22 edomi.qcow2.backup.200

Das Offline trimmen hab ich mit

qemu-img convert -O qcow2 edomi.qcow2 edomi.qcow2.trimmed

durchgeführt, das gleiche Ergebnis liefert aber auch fstrim.

Meine Disk ist mit 32GB angelegt, aber wenn keine 32Gb belegt werden, muss ich auch nicht 32Gb backupen, d.h. durch das trimmen schrumpft das Image auf die Größe, die es tatsächlich belegt.

Falls jemand unter dem Centos 6.5 Image, was für Edomi zur Verfügung gestellt wird, das ganze per cron erledigt haben will, muss hier auch noch zunächst einmal
der cron aktiviert werden:

1) chkconfig crond on
2) Fürs wöchentliche trimmen:

1 1 * * 1 fstrim -v / >/dev/null

[SvenA]

Das ist wirklich nur für Thin-Provisioning nötig.

So wie die Befehle hier aussehen ist das wohl KVM in irgendeiner Form.

Wobei mich das schon etwas wundert, da auch in einem thin-provisioned Fall gelöschte Sektoren wiederverwendet werden. Also nach einiger Zeit sollte sich das Image doch bei einer Größe einpendeln und nicht mehr größer werden. Das macht meiner Meinung nur Sinn, wenn man große Dateien final aus dem Image löscht und die Wahrscheinlichkeit, dass das Image wieder anwächst gering ist.

[jonofe]

Ich vermute das Problem ist die darunter liegende SSD, welche ja ein TRIM/UNMAP benötigen um gelöschte Sektoren wieder freizugeben. Das Client OS kann dann vermutlich TRIM/UNMAP an den Virtualisierer weitergeben, welche das das TRIM/UNMAP auf der Platte macht. Ehrlich gesagt ist bei mir EDOMI noch nie in Größenordnungen vorgedrungen, bei denen es relevant wird. Ich habe einen 500GB ZFS Pool für meine VMs und damit komme ich ganz gut klar (mit thick provisioning)

[sipiyou]

Jo, ich hab hier auf meinem Server KVM laufen - ist "natürlich" thin, alles andere macht im Privaten Bereich meiner Meinung nach keinen Sinn.

Das Image wächst bis zur maximal definierten größe der Festplatte, da ich hin und wieder backups ziehe, ist es schöner nur das zu kopieren, was auch belegt ist.

Wieviel das ist, sieht man hier ganz gut, es sind knapp 20GB, die dadurch eingespart werden. Und das ist ein aktueller trim seit knapp 1h.

~ 170Mb in einer Stunde ist einiges, was mein Edomi-Host hier verballert hat.

[root@edomi ~]# fstrim -v /
/: 176730112 bytes were trimmed

[Lonie]

Es betrifft nur Thin provisioned Storage.
Will man unter Linux automatisch freigewordene Blöcke an die Storage Engine weitergeben so ist dies unter ext4 mit der Option discard möglich.

# mount -t ext4 -o discard /dev/mapper/tpvv_lun /mnt

Ich persönlich provisioniere privat allerdings nur think. Ich wüsste nicht wozu ich bei nur einem Node anders handeln sollte

[vento66]

Und ob ich jetzt 10 oder 50 Gb backuppe ist mir auch wurscht, ich muss das ja nicht händisch abtippen

[Lonie]

Wenn die VM nur 10GB groß ist wird auch nur das ins Backup geschoben, auch wenn der Hypervisor denkt das Ding ist 500GB groß.

[vento66]

Ich mein, ist ja dein Ding, aber meine EDOMi VM haben alle um die 32GB zugewiesen bekommen, mehr hab ich auch noch nie benötigt.

[sipiyou]

Und ob ich jetzt 10 oder 50 Gb backuppe ist mir auch wurscht, ich muss das ja nicht händisch abtippen

Was kostet die Welt ?