LBS 19000110: SMA Sunnyportal auslesen (inkl. cURL-HTTPS-Zugriff per Login und POST-Methode)

[saegefisch]

Nach mehr als 14 Tagen problemloser und ununterbrochener Nutzung liefert mir mein LBS seit dem 25.02.2016 / 3:30Uhr plötzlich keine Daten mehr. Zu diesem Zeitpunkt lief bei mir edomi V1.18 und um diese Zeit habe ich sicher nichts am Server gemacht.

Daher nehme ich an, dass von SMA-Seite etwas am SunnyPortal geändert wurde. Es sieht so aus, dass der Login nicht mehr funktioniert.

Nun sitze ich schon seit 2h an der Fehlersuche... User und PW habe ich geprüft, ebenso die Name-Tags der Felder und des submit-Buttons. Alles sieht gut aus, aber nach dem Login bin ich laut Trace-Log (Datenstrom nach POST) noch immer auf der Einstiegsseite. Ich bin ratlos. Kann jemand den Sachverhalt bestätigen? Hat jemand eine Idee oder das Problem schon selber behoben?

[saegefisch]

Hallo allerseits,

nachdem der Login mit meinem LBS vor ein paar Wochen plötzlich nicht mehr geklappt hat, habe ich mich erst einmal auf die Visu gestürzt. Nun aber mag ich den LBS wieder zum laufen bringen. Heute abend habe ich mehrere Stunden erfolglos mit Firefox + Netzwerkanalyse, dem "REST Easy Addon" und dem LBS die Ursache zu finden versucht, warum der Login per POST nicht mehr klappt bzw. warum der anschließende GET nichts liefert.

Und: Ja, mit den selben(per copy+paste!) Einwahldaten aus meinem LBS klappt der Login im Browser...

* Hat jemand aktuell meinen LBS erfolgreich am Laufen und ich jage nur Geister?
* Hat jemand eine Idee, waren es liegen könnte? Hat jemand Wissen darüber, ob und was sich beim Login von SMA/sunnyportal geändert hat?
* Sollte mit "REST Easy Browser Addon" die POST-Abfrage nicht auch klappen/simuliert werden können?
* Mag jemand mit SMA/sunnyportal mich unterstützen?

Ratlos bin ich eigentlich recht selten - aber jetzt gerade bin ich's... :-/

Danke und sonnige Grüße,
Carsten

[saegefisch]

Niemals aufgeben... es bedurfte eine Weile Forschung mit der Netzwerkanalyse, aber letztlich lag es wohl daran, dass SMA um den 25.02.2016 tatsächlich den Zugriff verändert hat, nun Session-Parameter beim Datenabruf mit übergeben werden müssen und daher ein weitere GET vorangestellt werden musste. Darüber hinaus werden nun auch Warnungen, Fehlern und Infos aus dem sunnyportal ausgegeben und es gab noch etwas Code-Hygiene und die Tracelog-Lösung wurde adjustiert.

Seit 5 Tagen läuft der LBS bei mir wieder sauber, daher heute Upload der neuen Version 1.1. Wie immer: Für Fragen und Anregungen bin ich offen.

Viel Spaß damit - falls ich doch nicht der einzige Edomi-Freund bin, der auch SMA im Hause hat...

Sonnige Grüße,
Carsten

[KNXFan1970]

saegefisch
Nein - du bist nicht der einzige SMA Nutzer und EDOMI-Freund im Forum
Ich habe Deinen LBS auch schon einmal getestet. Funktioniert! Nur bin ich mir momentan - und ich hoffe Du nimmst mir das nicht übel - noch nicht ganz darüber im Klaren, ob das wirklich der (für mich) beste Weg ist, an die SMA Daten zu kommen. Die Wechselrichter liefern an den HomeManager (zumindest bei mir) - dieser schreibt auf das SunnyPortal und ich lese die ('Momentan')-Daten dort aus. Bitte nicht falsch verstehen - dies hat nichts mit Deinem LBS/ Deiner Arbeit zu tun. Der LBS funktioniert ja und liefert die Daten.
Eventuell könnte hier aber die Nutzung des Modbus-Protokolls über die (wenn vorhandene) Speedwire-Schnittstelle für die Ermittlung der Momentanwerte besser geeignet sein, wenn man eine individuelle Datenlogger-Lösung will. Anders würde es aussehen, wenn man aus dem SunnyPortal kumulierte - also beispielsweise Monats-, Jahres- oder Vergleichswerte der Nutzungsjahre ziehen könnte. Aber da scheint man nicht ranzukommen!? Oder hast Du hier andere Informationen?

Also nochmals - keine Kritik an Deinem LBS...und Danke, dass Du diesen zur Verfügung gestellt hast.

[saegefisch]

uups, da kam wohl was falsch rüber: ich bin in keiner Weise sauer, eingeschnappt, traurig, enttäuscht oder sonst etwas. ALLLES ist prima! Ich gebe gerne und teile gerne und freue mich, wenn es andere gibt, die meinen Beitrag im Forum hier hilfreich finden, aber ich definiere mich nicht darüber...

Also: Kein Grund, sich zu entschuldigen. Wir versuchen alle nur zu überleben...

Da aber seit dem 25.02. mein Baustein bei keinem Nutzer funktioniert haben dürfte und niemand auf meine Nachricht antwortete ("yepp, geht bei mir auch nicht mehr" oder "Wiso? Geht doch noch"), nahm ich an, dass bei den Edomi-Nutzern zur Zeit keiner dabei ist, der den Baustein (noch ) nutzt. Kann ja sein, es gibt ja viele PV-Anbieter und die Edomi-Gemeinde dürfte noch nicht die Größe einer Kleinstadt haben... Am Ende macht hier vermutlich jeder LBS-Enwickler seine Arbeit zunächst für sich selber und gibt ihn dann - wenn er funktioniert - gerne der Gemeinschaft. Daher habe ich mich ja auf die Suche gemacht und auch eine Lösung gefunden, damit es wieder geht. Ganz "egoistisch", aber zum Nutzen aller heute und künftig. Und vielleicht nützt dies auch anderen (abseits Edomi), deren SMA-Zugriffe nicht mehr gehen. Anders gesagt: Ich glaube nicht an Schwarm-Intelliegenz ("ja, Millionen Fliegen können irren, denn ... bleibt..."), aber ich glaube an die Kraft und Macht von Gemeinschaften im großen und kleinen. Wenn jeder sein Wissen und seine Gabe einbringt, ist das ein großer Mehrwert für alle; das Ergebnis ist größer als die Summe der Einzelbeiträge.

Zum Thema: Auch bei mir hängen die WR, der EnergieMeter und der SunnyIsland mit der Batterie am homemanager, der die Daten in das sunnyportal pumpt. Meines Wissens kommt man lokal nicht an die Daten heran, da das Speedwire-Protokoll nicht offen ist. Die Lösung über das sunnyportal ist für mich aber ein ordentlicher Weg, da auch meine Apps und auch mein Browser den selben Zugang zu den Daten nutzen.

Grundsätzlich widerstrebt es mir aber wie Dir, dass "meine" Daten nicht lokal für mich verfügbar sind, sondern ich erst in die SMA-Cloud muss. Lokal wäre mir viel lieber und wäre auch viel effizienter und hochfrequenter machbar. Durch Reverse-Enegineering sind wohl dennoch schon ein paar Leute erfolgreich an einiges gekommen im Speedwire-Protokoll. Darüber hinaus scheint es über Modbus mittlerweile (und für neuer Geräte???) ein lokaler Zugriff möglich. Das fänd' ich auch sehr wünschenswert, aber habe dazu keinerlei Wissen. Gerne wüsste ich dazu mehr, aber SMA schenkt einem da leider nicht viel...

Der Zugriff auf die aktuellen Werte klappt nach dem Update wieder wunderbar und man kann sich die ins Archiv legen. Bei meiner Nachforschung bin ich aber auch auf Zugriffe gestoßen, die Dir historische Daten zurück liefern, die man z.B. auch ins Archiv zur Darstellung legen könnte. In der Hilfe findest Du ganz unten bei den offenen Punkten einen Hinweis darauf. Wäre wohl einen weiteren LBS wert, den ich mal angehe, um mir rückwirkend für die letzten Jahre das Archiv mit korrekten Daten zu fluten. Das sollte auch für kumulierte Werte gehen und wäre auch mein Ziel.

Sonnige Grüße,
Carsten

[KNXFan1970]

Ok - freut mich, dass Du das so siehst...

Zur Modbus-Kommunikation liefert SMA zwischenzeitlich entsprechende Informationen. Schau mal unter http://www.sma.de/service/downloads.html dann im Downloadbereich --> Monitoring & Control --> Modbus-Protokoll-Schnittstelle und da gibt es eine ZiP-Datei 'Technische Informationen Modbus-Schnittstelle'.

Momentan löse ich das Thema so, dass ich einen Loxone Miniserver über Modbus die Daten auslesen lasse und diese über den KNX-Bus an EDOMI sende .
Ist nicht besonders elegant, ging aber schnell zu implementieren, weil ich das auf der Loxone Seite (hier ist das quasi vorbereitet) gerade soweit hatte, als Christian mit EDOMI 'auftauchte'.
Ziel ist es das nun 'irgendwann' direkt über EDOMI zu lösen.

[saegefisch]

ah, cool. Werde ich mir gelegentlich mal anschauen. Danke. Wenn Modbus bei mir auch gegen würde, wäre das wunderbar. Aber das wären vermutlich nur aktuelle Werte, oder? Wegen der historischen Daten wäre das sunnyportal wohl weiter die Quelle der Wahl?

[KNXFan1970]

Genau - nur aktuelle Werte der einzelnen Wechselrichter inkl. Spannung und Ströme deren Strings - zusätzlich Tages- und Gesamterträge seit Inbetriebnahme + Fehlermeldungen.
Die anderen historischen Werte kann man sich nur über das SunnyPortal 'beschaffen' - wenn überhaupt...

[vento66]

Wenn Du die Livedaten hast, kannst Du dir die historischen Werte dann selbst erzeugen. Die bestehenden natürlich nicht, aber die für die Zukunft.

[gaert]

Auch bestehende Daten können (theoretisch) in die DB eingefügt werden - ein paar mySQL-Kentnisse und vielleicht ein kleines Script dürften genügen

[KNXFan1970]

Klar - das stimmt natürlich - aber warum an 2 Stellen die Daten speichern - einmal im SunnyPortal, wo diese wirklich ansprechend aufgearbeitet, angezeigt werden und zusätzlich auf einem weiteren Server. EDOMI soll ja eigentlich das Haus steuern - z.B. Geräte freigeben, wenn genug solargestützte Energie zur Verfügung steht.
So ne Tages-/ Monatsgrafik kann man dazu schon nebenbei erzeugen - da hast Du recht. Aber super wäre es ja, auf die Daten des SunnyPortals zugreifen zu können und daraus ne Grafik zu erzeugen oder eine Warnung, wenn die Leistung im Vergleich zum Durchschnitt der Vorjahre sich verändert... oder oder...

[saegefisch]

ja, das sollte machbar sein. Danke für die zuversichtlichen Infos. Jetzt ist aber erst wieder Visu dran. Aber das könnte mich später mal jucken...

Ausblick: Wenn ich das machen würde, stelle ich mir eigentlich eine universelle Lösung vor, um eine CSV-artige Datei in die DB schreiben zu können. Wäre ja auch für andere Zwecke denkbar, z.B. eine Migration bestehender Daten in Edomi hinein...Verbrauchsdaten, Wetter, Wasserstände, was auch immer einen aus der Vergangenheit auch für die Zukunft aus einem Altsystem (oder anderen Quellen) interessiert und zu dem man ein Archiv in Edomi hat. Muss natürlich auch kugelsicher sein, damit man sich seine DB nicht zerschießt - das wär's nicht wert.

Dafür wäre ich mit meinen praktischen Kenntnissen vermutlich nicht die optimale Besetzung. Vielleicht versuch' ich's gelegentlich mal. Sofern sich nicht jemand anderes für die Idee erwärmt. Ich lasse da gerne den Vortritt...

[saegefisch]

KNXFan1970: da haben wir uns beim Schreiben überschnitten: Das ist auch der Grund, warum ich das noch nicht angegangen habe. Mich interessiert derzeit vor allem das "Jetzt" - genau für diese Steuerungszwecke. Die Historie ist mir im sunnyportal derzeit hinreichend. Aber nett wär's doch, "meine" Daten in meiner DB zu haben. Was weiß ich, was mit SMA in 20 Jahren ist?

Denkbar ist da sicher viel, aber mit den aktuellen Daten bin ich jetzt zufrieden, Visu und anderes ist wichtiger. Erst mal HS ablösen...

[svirus]

@saegefisch
Hallo, hast Du auch schonmal versucht Verbraucher aus dem SunnyPortal auszulesen oder gar zu schalten ?

[saegefisch]

Hi svirus,
ich mag die SMA-HW, finde das sunnyportal ganz gut und nutze es per App regelmäßig, finde es aber recht doof, dass ich abseits dessen nicht Herr meiner eigenen Daten bin und daher Umwege brauche, um sie zurück zu bringen in mein Haus. Z.B mit dem LBS ins Edomi.

Das Schalten von Verbrauchern mit der SMA-Lösung habe ich allerdings für mich als irrelevant eingeordnet, da ich ja KNX habe und damit schalte. Dazu habe ich also keine Erfahrung.

Oder meinst Du, aus dem Verbrauch auf ein Gerät zurück zu schließen? Wäre mir zu ungenau und wozu auch? Ich habe mittlerweile für jedes Zimmer und zum Teil noch filigraner (Haustechnik) über die MDT-Aktoren mit Wirkleistungsmessung klare Angaben. Darüber könnte ich sehr genau - in Edomi - reagieren.
Oder meinst Du, auf Basis des Solar-Überschusses zu schalten? Klar, würde - mit dem LBS - in Edomi wunderbar gehen: "Wenn Einspeisung > 1500W, dann Bügeleisen an"... Zugegeben mache ich das selber noch nicht, ich schalte zeitgesteuert z.B. mein WW oder - mit Blick auf das sunnyportal - manuell WM oder Spülmaschine an. Da habe ich noch keinen Bedarf für Automatik gesehen.