Füllstand Datenarchiv? genutzter Speicherplatz

[schobi]

Ich habe vor Monaten versucht möglichst viele Werte zu visualisieren und dabei inzwischen 120 Datenarchive angelegt und intensiv genutzt - für Temperaturen, Beschattung und für den Resol VBUS. Ich habe die Befürchtung dass ich in manche Archive seit Monaten alle 2 Sekunden Werte reinschreibe. Natürlich ist "Speicherung unendlich" eingestellt.

Nebenbei hat mein automatisches edmoi Backup 3.5 GBytes von denen nur 500 MBytes auf Logdateien zurückzuführen sind. Es gibt keine Kameras/Bilder und auch sonst keine Grafiken. Die Projektaktivierung dauert

Wie finde ich den Füllstand der Datenarchive raus?
Gibt es einen Baustein der eine Statistik in ein Logfile schreibt?
Oder mache ich das besser per ssh im Filesystem?


Update: Es gibt eine Auswertung unter "Verwaltung/Live-Projekt/Weitere Informationen",
wenn es in die Anzahl in die Millionen geht, dann sollte man was tun...

[schobi]

Ich habe eine erste Lösung gefunden - ich dokumentiere hier mal meinen Weg:

einloggen als root per ssh, Größe des Verzeichnisses der Datenbanken

# du -h /var/lib/mysql/edomiLive/
3,1G /var/lib/mysql/edomiLive/

ähm - ja, das ist schon einiges!

Nachschauen in der Datenbank welches Datenarchiv verantwortlich ist:

# mysql
mysql> use edomiLive
mysql> select anzahl, id, name from (select count(ms) as anzahl, targetid from archivKoData group by targetid) AS t, archivKo where archivKo.id = t.targetid order by anzahl desc;

und damit sehe ich die Anzahl der Einträge:

+---------+-----+----------------------------------------+
| anzahl | id | name |
+---------+-----+----------------------------------------+
| 4596494 | 112 | Frischwasser T1 |
| 4596494 | 113 | Frischwasser T2 |
| 4596493 | 114 | Frischwasser T4 |
| 4596486 | 115 | Frischwasser T VFS |
| 4596484 | 117 | Frischwasser Durchfluss |
| 4596471 | 116 | Frischwasser Drehzahl |
| 2391962 | 111 | Solarthermie Drehzahl |
| 1501025 | 108 | Enthärtung Wasserzähler Zählerstand |
| 1399950 | 8 | Außen A Windgeschwindigkeit |
usw.
+---------+-----+----------------------------------------+
106 rows in set (38.94 sec)

bei insgesamt 40M Einträgen kein Wunder...


Achtung - die Abfrage ist nicht ideal - der index wird nicht genutzt drum dauert das fast 40 sec - bitte so nicht dauerhaft irgendwo reinbauen!


Mittelfristig wäre ein Hinweis in der GUI ganz hilfreich - die Gesamtanzahl?
oder vielleicht eine einfache Statistik? hier mal eine Idee für Gaert:

mysql> select count(ms) as anzahl, month(datetime), year(datetime) from archivKoData group by year(datetime), month(datetime);
+----------+-----------------+----------------+
| anzahl   | month(datetime) | year(datetime) |
+----------+-----------------+----------------+
|    27505 |               9 |           2016 |
|   264805 |              10 |           2016 |
|   251694 |              11 |           2016 |
|   251583 |              12 |           2016 |
|   260577 |               1 |           2017 |
|   252293 |               2 |           2017 |
|   285963 |               3 |           2017 |
|   304621 |               4 |           2017 |
|   354687 |               5 |           2017 |
|   353708 |               6 |           2017 |
|   436673 |               7 |           2017 |
|  1982675 |               8 |           2017 |
| 10812351 |               9 |           2017 |
|  6851802 |              10 |           2017 |
|  9162159 |              11 |           2017 |
|  9053537 |              12 |           2017 |
+----------+-----------------+----------------+
16 rows in set (1 min 10.11 sec)

mit einem Knopf für "Löschen wenn älter als" ..?

[HeMichael]

Servus,

also ich nutze HeidiSQL als GUI für meine MYSQL Server, finde ich persönlich ansprechender als das Originale von MySQL aber musst du wissen, darin lassen sich die Werte auch direkt löschen.

ggf wäre es aber für dich Interssant die Werte irgendwann automatisch zu löschen, oder willst du die ewig aufbewahren?

löschen.PNG

Gruß

Michael

[schobi]

Ja Michael - natürlich ist "unendlich" nicht sinnvoll.
Mein Problem war aber schlimmer - mein Archiv ist schon nach wenigen Monaten voll gelaufen - und Jahres-Vergleichswerte sind doch manchmal interessant!

[HeMichael]

hmm die Frage ist ob man alle 2 Sekunden die Werte für Jahresvergleichswerte braucht . Das du Unendlich eingestellt hast habe ich oben überlesen. Wobei aber MYSQL seit 3.23 keine Interne Begrenzung der Größe mehr hat, deine DB also mit 3.5 GB eigentlich nicht platzen darf. Dass die Abfragen natürlich "etwas" länger dauern ist auch klar

[gaert]

Schonmal unter "Verwaltung/Live-Projekt/Weitere Informationen" geschaut?!

[schobi]

Ha! Das tut genau das! Da hätte ich jetzt nicht hin geclickt um danach zu suchen... Das Problem ist damit gelöst!

Um die Daten los zu werden habe ich per SQL einige Einträge aus der Tabelle archivKoDaten rausgelöscht.

Um ein weiteres Vollaufen zu verhindern habe ich bei den besonders aktiven Datenquellen einen Baustein vorgeschaltet, der bei zu vielen Daten einen Mittelwert liefert. siehe hier. Im DAtenarchiv landen dann nur alle 5 Minuten neue Werte

[JonDonSponky]

Kurze (Laien-) Frage:

Wie komm ich in die MySQL-Datenbank hab mir das Programm HeidiSQL runter geladen, aber nur mit der IP und der root/PW Kombination komm ich irgendwie nicht rein?!?

[vento66]

Entweder root oder mysql als user und beide ohne Passwort.

[JonDonSponky]

Entweder root oder mysql als user und beide ohne Passwort.

root ging weder mit noch ohne Passwort, aber mysql ging ohne Passwort.

Danke!