EDOMI Diagramme bei großen Datenbestand nicht geladen -php mysql query/select timeout

[HHS]

Hallo Leute,

ich habe ein Problem, wenn meine Datenarchive zu groß werden, dass die Diagramme nicht mehr geladen werden.

Ich weiß, ich sollte meine Daten reduzieren, aber manchmal ist das nunmal schwierig um zu setzen.


Nach genau 30 Sekunden bricht wohl intern ein mysql query/select Befehl ab.
Sehe ich in der CPU Auslastung vom mysqld-Prozess.

Ich habe bereits die php.ini "max_execution_time" erhöht, bringt leider nichts.
Ich habe bereits in der mysql.conf "max_execution_time" erhöht, bringt leider nichts.

Kann ich noch irgendwo anders, timeouts erhöhen, damit die Abfrage durchläuft?
In der MySQL Instanz, im Apache, im PHP?


Hoffe auf einen kleinen Denkanstoß in die richtige Richtung, danke!

Gruß
Marco

[McJameson]

Brauchst Du denn wirklich alle Daten im Archiv, um sie im Diagramm darzustellen? Für eine VISU dürften wahrscheinlich auch verdichtete Daten ausreichen.
Ich habe nei mir verschiedene Datenarchive am Laufen:
1. Kurzzeit: bis 7 Tage mit allen Datenpunkten (z.B. minütliche Leistung PV-Anlage)
2. Mittelfristig: bis 30 Tage (z.B. 15-minütlich Leistung der PV-Anlage)
3. Langfristig: unbefristet (z.B. tägliche Peak-Leistung und tägliche Energieproduktion)
Damit laufen dann auch die Diagramme recht flott.
Für die detaillierte Analyse schaufele ich die wichtigsten Daten (z.B. der PV-Anlage) in eine InfluxDb und werte diese dort mit Grafana aus.

[HHS]

Ja, da hast du recht. Ich müsste eigentlich alle Datenarchive und dazugehörige Diagramme und Logiken genau so umbauen...
Ist mir aber aktuell zu viel Arbeit und wahrscheinlich ist es besser, die Daten für Langzeit in eine InfluxDb & Grafana auszulagern...
Leider kenne ich mich da zu wenig aus, wie ich aus Edomi die Daten in eine InfluxDB bekomme und wie ich dann mit Grafana eine Auswertung erstellen kann.

Dazu kommt, dass mein Edomi und alle weiteren "SmartHomedienste" auf einem älteren Ubuntu 16.04 laufen und ich dann InfluxDb & Grafana darauf zum laufen bekommen müsste.

Ich suche am Wochenende mal eine Anleitung oder schaue nochmal nach den merkwürdigen timeout. Kann doch nicht so schwer sein, ist bestimmt eine simple Einstellung oder reboot der Kiste?!?

[McJameson]

Für das Befüllen der InfluxDB gibt es mehrere LBS. Die von mir auf V2 umgeschriebenen LBS 19002380 und 19002381 müssen mit einzelnen KO gespeist werden, während die LBS von jonofe direkt über SQL alles speichern können (letztere LBS können "ausgeliehen" werden).
InfluxDB und Grafana müssen auch nicht auf dem EDOMI-System laufen, sondern können irgendwo in Deinem Netz sein. Ich habe sie zum Einen auf meinem Futro920 neben Edomi installiert und zum Anderen auf einem Mini-PC mit Proxmox am Laufen. Beides ist recht einfach zu bewerkstelligen und gut zu pflegen. Ich bereite meine Abfragen für Grafana immer mit dem Explorer von InfuxDB vor und verfeinere sie dann in Grafana. Die Grafana-Fenster kannst Du dann auch wieder in EDOMI einbinden.

[HHS]

Das klingt sehr interessant.

Wie funktioniert das Ausleihen bei jonofe, PN? Wäre schon daran interessiert, meine bisherigen Daten dann auch zu übertragen.

Habe meine Datenarchive analysiert und ein klein wenig optimiert. Jetzt laufen die Diagramme erst einmal wieder. Am offensichtlich sind diese nun nach den Jahren wirklich "sehr voll" geworden, sodass die Diagramme da wohl an ihr Maximum bei meinem System stoßen. Mehr RAM bei den Prozessen hilft leider auch nichts, also wird es wohl an der CPU am Ende scheitern, die Daten für die Diagramme aufzubereiten.

Ich werde mir dann wohl die Lösung mit InfluxDB & Grafana anschauen.

Super Hilfe, wie immer von euch!

[McJameson]

jonofe hat sich leider aus dem Forum zurückgezogen; eine Nachricht an ihn wird somit ins Leere laufen.
Ich schicke Dir später, spätestens heute Abend einen Link per PM unter dem Du die LBS "ausleihen" kannst.