Edomi Datenarchive auf Influx umziehen, vorab Datenarchive bereinigen/löschen

[fudi6489]

Grüß euch
Ich schiebe es jetzt wirklich schon lange vor mir her, möchte aber mein Datenarchiv aus Edomi in eine InfluxDB auslagern, da ich die Werte künftig in Grafana visualisieren möchte. Das alles möchte ich in der kalten Jahreszeit noch hinter mich bringen.

Meine Edomi Archive sind mittlerweile so vollgelaufen, dass ich über "Verwaltung/Live Projekt/Weitere Informationen anzeigen" ein Dauerladen produziere. Ich habe echt jeden unsinnigen Blödsinn gespeichert und mir auch über die Behaltedauer und Verdichtung keine Gedanken gemacht.

Bis auf die Werte der PV Anlage,den Temperaturaußenwert, die Niederschlagsmenge sowie Wärmepumpenverbräuche kann alles gelöscht werden.
Dies würde ich über den Logikbefehl "Datenarchive löschen-alle Einträge löschen" erledigen.

Ich wollte jetzt vorab die einzelnen Datenarchive anschauen, komme aber über HeidiSQL nicht mehr drauf. Seit etwa einem Jahr nutze ich Edomi auf einem Proxmox LXC Container, mit dem Image von Yves starwarsfan
Früher, bei alter Installation auf einem eigenen PC für Edomi hatte der Zugriff immer funktioniert.
Kann es sein dass sich dadurch was verschoben hat, und ich anders zugreifen muss?

image.png

Zusätzlich habe ich in Erinnerung dass man früher via "Verwaltung/Live Projekt/Weitere Informationen anzeigen" bzw "Verwaltung/Arbeits Projekt/Weitere Informationen anzeigen" die Anzahl der Einträge der einzelnen Archive anzeigen lassen konnte, bzw das Archiv leeren konnte.
Jetzt ist aber unter "Verwaltung/Arbeits Projekt/Weitere Informationen anzeigen" (worauf ich noch zugreifen kann) alles grau, und es steht auch keine Anzahl dabei.
Hat das auch was mit der neuen Installation zu tun?

Später ist dann geplant, die Stromwerte die via Nodered ausgelesen werden nur zur Edomi Visualisierung weiterzuschicken. Die gesamte Datenbank sollte ausgelagert sein, und via Nodered beschrieben werden.
In der Edomi Visu sollte es dann eine Verlinkung auf den Grafana Chart geben.

Lässt sich das so umsetzen?

LG Jürgen

[gibsonrocker]

Zusätzlich habe ich in Erinnerung dass man früher via "Verwaltung/Live Projekt/Weitere Informationen anzeigen" bzw "Verwaltung/Arbeits Projekt/Weitere Informationen anzeigen" die Anzahl der Einträge der einzelnen Archive anzeigen lassen konnte, bzw das Archiv leeren konnte.
Jetzt ist aber unter "Verwaltung/Arbeits Projekt/Weitere Informationen anzeigen" (worauf ich noch zugreifen kann) alles grau, und es steht auch keine Anzahl dabei.
Hat das auch was mit der neuen Installation zu tun?

Du musst das unter "Live Projekt / Weitere Informationen" anzeigen machen.

Edit:
Ah Sorry...Du hattest beides geschrieben. Also es sollte schon unter Live Projekt ein.

[gibsonrocker]

Doppelpost.

[fudi6489]

Gestern Abend habe ich alle definitiv nicht relevanten Daten per Logik gelöscht.
Übrig geblieben ist eine edomilive.archivekodata mit 1018MB und 27 Millionen Einträgen.
Das ist natürlich noch deutlich zu viel und ich muss noch wesentlich mehr zusammenstutzen.

Aktuell sieht meine Datenarchivstruktur, sollte man das überhaupt so nennen können , wie folgt aus:

image.png

Behaltedauer:
Quell-Datenarchiv 174 - 3 Tage (wird zur Berechnung der anderen Archive verwendet)
Stunde - 3 Monate
Woche, Monat, Jahr, unendlich - unendlich

Vor allem beim 180 unendlich Archiv, wollte ich anfangs alle Daten behalten und hab dann vergessen die Behaltedauer umzustellen.

Was erwartet Grafana damit ich vernünftige visualisieren kann?
Es interessiert mich in diesem Fall natürlich nicht wieviel Strom die Gefriertruhe am 28. Juli 2023 gebraucht hat, sondern maximal noch die Wochenwerte.

Und weiß jemand wie ich auf das Edomi Datenarchiv via HeidSQL zugreifen kann?

LG Jürgen

[McJameson]

Ich benutze dafür den dbeaver; funktioniert problemlos auch bei großen DB.

In Grafana kannst Du über die eingebaute Scriptsprache recht einfach die Daten aggregieren ohne dabei Details zu verlieren.

[beauty]

Vielleicht ist der LBS19002576 Influx Data Archives http://service.knx-user-forum.de/?co...ad&id=19002576 das richtige für dich?
Damit kannst du deine Archive naach Influx kopieren und auch aktualisieren

[fudi6489]

Ich benutze dafür den dbeaver; funktioniert problemlos auch bei großen DB.

In Grafana kannst Du über die eingebaute Scriptsprache recht einfach die Daten aggregieren ohne dabei Details zu verlieren.

Leider kann ich mich mit dem dbeaver nicht mit meiner Datenbank verbinden.
"null, message from server: "Host 'xxxxxx' is not allowed to connect to this MariaDB server"

Ich hab dann diese Anleitung gefunden:
https://www.tecmint.com/fix-error-11...connect-mysql/

Was muss ich da bei "database_username" zB eingeben?


beauty
Danke. Mit diesem LBS plane ich bereits, vorab muss ich aber die Datenbank bereinigen.

LG

[McJameson]

Ich meine, Du must den Namen und das Passwort einfach leer lassen. Ich gucke heute Abend gerne mal in meine Einstellungen, wenn ich wieder Zugriff auf meinen PC habe.

[fudi6489]

Das wäre nett, wenn du mir nachschauen könntest.

Nutzt du Edomi in einer eigenen Installation, oder in einem Docker bzw. Container?
Früher bei eigener Installation habe ich als Name "mysql" eingegeben und das Passwort leer gelassen.
Jetzt geht`s aber glaube ich darum dass der Zugriff verweigert wird.

Aber wenn du mir die Zugangsdaten schicken könntest, damit ich hier Fehler ausschließen kann, wärs super.

[McJameson]

Ich nutze Edomi auf einer eigenen Hardware, einem Futro920.
In die Umstellung auf Docker bzw. Container habe ich mir zwar schon eingelesen, aber diese aufgrund anderer Prioritäten (Honey-Do-List) derzeit noch nicht umgesetzt. Die Hardware dafür liegt schon seit längerem in meiner Bastelbude und wartet auf ihren EInsatz.

[McJameson]

dbeaver-verbindung.png
Hier sind meine Einstellungen. Anscheined muss als Benutzername root verwendet werden. Das Passwort bleibt leer.

[fudi6489]

Danke
Auch mit diesen Einstellungen ist es mir "not allowed" mich zu verbinden.

Dürfte wegen der Container Installation so sein.
LG

[jonofe]

Wenn der Container den mySQL Port nicht nach außen mapped, dann ist sie nicht zu erreichen.
Ich kenne mich leider mit Proxmox/LXC nicht aus, aber ich vermute, dass starwarsfan was dazu sagen kann?

[fudi6489]

Servus
Ich habe in einem Nachbarthema gefunden dass diese Befehle ausgeführt werden müssen:

https://www.tecmint.com/fix-error-11...connect-mysql/

database_username= "root" (passt da Ausgabe in der nächsten Zeile)

image.png

database_name ?
database_password= ? sollte das leer sein?

Wär fein wenn mir jemand database_name sowie database_password (vermutlich leer) nennen kann.

Falls das so funktioniert, und ich spiele ein Backup dieses Edomi auf einem neuen System ein, muss ich das wieder machen, oder bleibt das gespeichert?

Liebe Grüße
Jürgen

[jonofe]

mach mal ein

select * from mysql.user where user='mysql';

dann solltest du den Eintrag sehen, der es dem User 'mysql' von jedem Host aus erlaubt sich ohne Passwort zu verbinden.

+------+-------+----------+-------------+-------------+-------------+-------------+-------------+-----------+-------------+---------------+--------------+-----------+------------+-----------------+------------+------------+--------------+------------+-----------------------+------------------+--------------+-----------------+------------------+------------------+----------------+---------------------+--------------------+------------------+------------+--------------+------------------------+----------+------------+-------------+--------------+---------------+-------------+-----------------+----------------------+--------+-----------------------+
| Host | User  | Password | Select_priv | Insert_priv | Update_priv | Delete_priv | Create_priv | Drop_priv | Reload_priv | Shutdown_priv | Process_priv | File_priv | Grant_priv | References_priv | Index_priv | Alter_priv | Show_db_priv | Super_priv | Create_tmp_table_priv | Lock_tables_priv | Execute_priv | Repl_slave_priv | Repl_client_priv | Create_view_priv | Show_view_priv | Create_routine_priv | Alter_routine_priv | Create_user_priv | Event_priv | Trigger_priv | Create_tablespace_priv | ssl_type | ssl_cipher | x509_issuer | x509_subject | max_questions | max_updates | max_connections | max_user_connections | plugin | authentication_string |
+------+-------+----------+-------------+-------------+-------------+-------------+-------------+-----------+-------------+---------------+--------------+-----------+------------+-----------------+------------+------------+--------------+------------+-----------------------+------------------+--------------+-----------------+------------------+------------------+----------------+---------------------+--------------------+------------------+------------+--------------+------------------------+----------+------------+-------------+--------------+---------------+-------------+-----------------+----------------------+--------+-----------------------+
| %    | mysql |          | Y           | Y           | Y           | Y           | Y           | Y         | Y           | Y             | Y            | Y         | N          | Y               | Y          | Y          | Y            | Y          | Y                     | Y                | Y            | Y               | Y                | Y                | Y              | Y                   | Y                  | Y                | Y          | Y            | Y                      |          |            |             |              |             0 |           0 |               0 |                    0 |        |                       |
+------+-------+----------+-------------+-------------+-------------+-------------+-------------+-----------+-------------+---------------+--------------+-----------+------------+-----------------+------------+------------+--------------+------------+-----------------------+------------------+--------------+-----------------+------------------+------------------+----------------+---------------------+--------------------+------------------+------------+--------------+------------------------+----------+------------+-------------+--------------+---------------+-------------+-----------------+----------------------+--------+-----------------------+
​