Langzeitdatenarchivierung in voller Auflösung

[Ing-Dom]

Hallo!

Ich habe bisher kaum Datenarchive mit automatischer Verdichtung oder begrenzter Dauer. Da irgendwann aber die Diagramm inperformant wurden, habe ich für die Visu separate Archive mit 2 wöchiger Vorhaltedauer angelegt. Die Diagramme funktionieren nun wieder.
(wie es scheint sind viele alte Einträge mit der selben ID problematisch, da die ID indiziert ist, Zeitstempel aber leider nicht)

Speicher ist Grundsätzlich kein Thema, hab ich 100GB SSD drin.

ABER:
Der Startup von edomi ist unglaublich langsam. Und dann selbst wenn alles läuft hab ich nochmal 10-15min mit 100% CPU-Last.
Ich schiebe das auf die archivKoData die mittlerweile 116 Mio Einträge und 7,5 GB groß ist.

Es muss also eine Strategie her wie ich die Daten in eine Langzeitform gebe. Man könnte nun einfach dumpen und dann alte Einträge löschen.
Gerne hätte ich diese aber zugreifbar.

Ideen dazu:

=> neue Tabelle in der edomi DB & regelmäßiger Transfer. Aber dann bleibt die mysql DB immer noch so groß.

=> regelmäßiger Transfer in eine andere DB auf einem anderen Server. Ggf. mit optimierter Tabellenstruktur / Indizes.

=> die Daten mit einem SQL-Baustein einfach direkt (zusätzlich) in ein Langzeitarchiv auf einem anderen Rechner schieben.

Was meint ihr dazu?

[givemeone]

Hallo!
Bezüglich performancr gabs schon dies:

https://knx-user-forum.de/forum/proj...41#post1465841

und
https://knx-user-forum.de/forum/proj...37#post1466337

beides hilft.
Bezüglich größe haben andere vielleicht bessere Ideen. Mir war der Umzug nach Influx oder ähnlichem nie den Aufwand wert.
Die Startgeschwindigkeit ist mir auch weniger wichtig.
Gerne hätte ich aber auch die Möglichkeit, ein reines Logging von Zahlenwerten (in komprimierter Form) zu haben, ;-)

Grüße
Joe

[Ing-Dom]

Danke, das ist schon mal guter Input.

Ich hab jetzt die Einträge von 117 Mio auf 47 Mio reduziert. Die Tabelle ist aber nur von 7,5 auf 6,1 GB geschrumpft.
Das verstehe ich nicht ganz...

[givemeone]

Hast Du sie danach "optimiert"?
Daten in einer DB werden nie direkt vollständig gelöscht, denn löschen ist langsam, zeitintensiv und blockiert die Tabelle.
Daher wird oft der Speicherplatz nur als Freigegeben markiert.

[Ing-Dom]

ah ok ja, das hats gebracht, Danke.

[starwarsfan]

Hallo miteinander

Hallo!
https://knx-user-forum.de/forum/proj...37#post1466337

Das habe ich eben auch gemacht und der Unterschied ist beträchtlich.

Vorher:

-rw-rw---- 1 mysql mysql 658M 30. Jul 23:30 archivKoData.MYI

Nachher:

-rw-rw---- 1 mysql mysql 1,1G 30. Jul 23:34 archivKoData.MYI

Aber der Plattenplatz ist mir völlig egal denn nun is es wirklich so, dass selbst die komlexen Diagramme nach maximal zwei Sekunden "da" sind. Super Sache!

Hätte ich schon viel früher machen sollen...

[givemeone]

Hallo miteinander
Das habe ich eben auch gemacht und der Unterschied ist beträchtlich.

Nun, ich habe zum Test die anderen beiden Indexe deaktiviert und sehe bisher keinen Nachteil.
Aber der Platzverbrauch ist damit wieder etwas gesunken! (Und der Aufwand beim einfügen neuer Datensätze reduziert sich dadurch für MySQL.

[saegefisch]

dass selbst die komlexen Diagramme nach maximal zwei Sekunden "da" sind. Super Sache!

Gab es dazu schon mal Themen, ob und warum Christian das ggf. nicht in edomi so einbaut? Vielleicht hat er den Beitrag damals schlicht mal überlesen und wäre dankbar für die Inspiration.