DWD Wettervorhersage

[saegefisch]

rossmax : V0.4 des LBS ist online -> siehe auch hier. Bitte mal probieren und gerne mit Rückmeldung.

Es war tatsächlich nur das Entpacken von .gz, was fehlte. Der Rest war nur das Setzen passender Parameter - und damit hält weiterhin der generische Ansatz, was ich mir davon erhoffte...nicht nur zur DWD Wetternachhersage

Mein Test habe ich mit diesen Parametern durchgeführt:

• E2 = "https://opendata.dwd.de/climate_environment/CDC/derived_germany/soil/daily/recent/derived_germany_soil_daily_recent_2667.txt.gz"
• E3 sollte (außer für ZIP/TAR) egal sein, habe trotzdem mal gesetzt = "soil__daily__recent" ...
• E6 = "BF10_02667" -> solltest Du auf einen sinnvollen Werte für Dich setzen - für meinen Test habe ich mal BF10 gewählt; der Wert dient der Differenzierung und sollte eindeutig sein (da ging auch auch "Paula", wenn die anderen Werte für Temperatur und Niederschlag Jungennamen haben... ), sinnvoll für DWD scheint mir "Wertbezeichnung + Station"
• E7 = "10" (in meinem Test die letzten 10 Werte) -> üblicherweise für regelmäßige Beladung z.B. "3" (und leer bei der manuellen Initialbeladung)
• E9 = ";YYYYMMDD;;;;;;;;;;VALUE" -> ich habe mal für den Test die 10.Wert-Spalte mit "BF10" verwendet (wobei BF10 nur zufällig auch der 10. Wert ist) -> anpassen an Deinen Bedarf (konkret die Anzahl der Semikolons um VALUE aus der richtigen Spalte zu lesen). Allgemein sagt der Parameter:
  • Ignoriere 1. Spalte,
  • nutze aus der 2. Spalte den Wert im Format YYYYMMDD,
  • ignoriere 9 Spalten,
  • lies den Zielwert aus der 10. Spalte

Ergebnis (links download des Datenarchivs nach Einlesen der letzten 10 Werte | rechts die entpackte Datei Deines Links von heute)
update_gz.JPG

Binnnngggooooooo!

[MrIcemanLE]

Mal eine Frage an die DWD-Runde. Die Verhersage der Maximal- und Minimaltemperaturen werden vom DWD im 12h Rhythmus ausgegeben. Die Tabelle enthält also für 8Uhr einen Max und einen Min-Wert, welcher für die vergangenen 12h gilt. Und dann nochmal 20Uhr (wieder für die vergangenen 12h) usw.

Wenn wir jetzt genau einen Max-Wert und einen Min-Wert pro Tag wollen, müsste man diese Werte irgendwie vergleichen und entscheiden, was man ausgibt.

Da sich bei den meisten Anwendungen einer Vorhersage der Begriff "Tag" auf die Zeit ab dem Morgen bezieht, würde ich die Werte wie folgt berechnen:

	Zeitraum
Max	8 Uhr (Vorhersagetag) bis 8 Uhr (Folgetag)
Min	20Uhr (Vortag) bis 20 Uhr (Vorhersagetag)

Nimmt man das Max dagegen von 20Uhr (Vortag) bis 20 Uhr (Vorhersagetag) und es zieht in der Nacht eine Kaltfront durch, kann dies dazu führen, dass ich als Tageshöchstwert für den Vorhersagetag die Temp vom Vorabend angezeigt bekomme.

Nimmt man das Min von 8 Uhr (Vorhersagetag) bis 8 Uhr (Folgetag), sehe ich am Abend möglicherweise den Nachtfrost nicht, der für die kommende Nacht bzw. den kommenden Morgen erwartet wird.

Alternative:
Ich neheme alle Stundenwerte von 0 bis 23Uhr und suche das Min und das Max. Damit wäre die Trennung der Vorhersage um Mitternacht.

Wie ist eure Meinung dazu?

[rossmax]

Hallo saegefisch, Baustein v 0.4 funktioniert prima. Vielen Dank für die schnelle Hilfe!
Nach ersten Tests müssen für diese Abfrage weder E3 noch E6 belegt sein. Durch E2 und E9 scheint die Abfrage ausreichend definiert zu sein.

Bezüglich E13 ist mir die Logik noch nicht ganz klar Wenn man zunächst das Archiv mit allen vorhandenen Daten belädt und anschließen jeweils Daten für 3 Tage lädt, müsste E13 auf "Fortschreiben" eingestellt sein. Konsequenz wäre m.E., dass der Baustein nur alle 3 Tage angestoßen wird, da es sonst Dubletten gibt. Stellt man den Baustein an E13 hingegen auf "Datei neu erstellen" werden die initial geladenen Daten gelöscht. Optimal wäre hier eine weitere Option, die die Datei behält aber bereits vorhandene Datensätze überschreibt.

Nochmals vielen Dank.

[saegefisch]

Zu E3 gebe ich Dir Recht, bei E6 halte ich es für unglücklich, weil man dann seine Dateien nicht mehr unterscheiden kann, wenn man mehrere Quellen damit anzapft - aber wenn Du meinst... ich halte E6 daher ordnungshalber für ratsam...

E13 habe ich in meinen Fällen stets auf 1, damit enthält die Datei nur neue Daten, die mit dem Folge-LBS ins DA geschrieben werden. Man kann die Datei auch fortschreiben, aber was soll ich damit? Steht doch im Archiv (und kann ich mir dort jederzeit bei Bedarf als CSV herunterladen mit edomi-Bordmitteln). Dazu werde ich daher keine Änderung vornehmen, um in der Datei Doppelte Werte zu erkennen. Offen gesagt ist die Option 0 in meinen Augen nutzlos, aber beim LBS-Bau war's halt eine Code-Option, die ich auf die Eingänge gelegt habe.

Dubletten habe ich (zur Sicherheit) auf jeden Fall, die ich über die regelmäßige Komprimierung (Edomi-Standard) des Archivs wieder los werde. Denke ich zumindest. Sicherheit heißt: Die Quelle könnte z.B. über ein WE mal nicht liefern, aber ich will lückenlos. Daher die dauernde Überlappung mit 3 Tagen die ich verwende. Aber das muss letztlich jeder selber für Seine Bedarfe und die entsprechenden Quelle festlegen. Man kann auch täglich nur 1 Tag lesen oder alle 3 tage 3 oder whatever... Kurz: Ja, ich schreibe sehenden Auges zu viel/doppelt und bereinige den Krams regelmäßig mit Bordmitteln. Dafür sind sie ja da.

[Adas86]

Kurze Rückfrage: Der LBS funktioniert noch nicht einwandfrei - ist das bekannt?

Der 17.04 wird als Samstag ausgegeben

[MrIcemanLE]

Kurze Rückfrage: Der LBS funktioniert noch nicht einwandfrei - ist das bekannt?

Ja, ist bekannt. Mir war nicht bewusst, dass die Zeitstempel in den DWD-Daten in UTC sind. Da kommt demnächst ein Update. Und bei der Gelegenheit wollte ich nochmal die Ermittlung der Maximalwerte überdenken. Das ist nicht so einfach, wie man anfangs denkt. Oder ich mache es vielleicht zu kompliziert. Siehe Post #137.

[rossmax]

Hallo Sägefisch, habe jetzt Dein Konzept mit den 3 Tagen besser verstanden. Mir war bisher die Funktion zur automatischen Komprimierung der Archive nicht klar. Funktioniert bei Neustart prima.
Offen ist für mich noch das Verhalten um 0 Uhr. Dann werden zum einen die Daten vom DWD geladen und die Komprimierung durchgeführt. Je nach dem, was zuerst stattfindet, hat man ggf. die Komprimierung der heute geladenen DWD Daten erst morgen. Da ich einen 7-tages-Durchschnitt ausrechnen möchte, wäre der entsprechend verfälscht.
Werde das heute Nacht mal testen.
Mit der Variante "1 Wert je Tag laden", klappt es auf jeden Fall - mit einem kleinen Risiko, dass mal ein Download schief geht.
Bin auf jeden Fall begeistert, dass das dank Deiner Hilfe so weit funktioniert!

[Gast]

Hallo zusammen,

habe gestern mein Produktivsystem von centos 6.5 auf centos 7 umgezogen. Edomi wurde komplett neu installiert... Jetzt bekommen ich folgend Fehlercode:

Fehlercode: 8 | Zeile: 272 | Array to string conversion

ERROR

Was kann das sein? Habe ich etwas vergesse noch zu installieren?

[MrIcemanLE]

Möglicherweise sind nicht alle nötigen Erweiterungen installiert. Einige User mit CentOS7 haben festgestellt, dass man die ZIP-Erweiterung für PHP noch nachinstallieren muss: https://knx-user-forum.de/forum/projektforen/edomi/1117033-dwd-wettervorhersage?p=1465284#post1465284

[shortyle]

Kurze Frage zu den rückgegebenen Daten von DWD. Ich möchte mir für die kommenden 48h die Niederschlagsmenge anzeigen lassen.
Wenn ich nun im LBS 19000939 an E4: RRdc und an E5: sum angebe, dann sollte doch im Ergebnis (Info von DWD) "Gesamtniederschlag während der letzten 24 Stunden, konsistent mit dem Wetter" in kg/qm erhalten. Nun wird mir für morgen ein wert von 1.3 (kg/qm) angegeben was wiederum 1.300l/qm entsprechen würde...das passt doch vorne und hinten nicht?!

[fisch3009]

1,3kg/qm sind 1,3l/qm da 1l Wasser ca. 1kg wiegen?!

[shortyle]

1,3kg/qm sind 1,3l/qm da 1l Wasser ca. 1kg wiegen?!

Wo war ich da wieder mit meinen Gedanken? Das passt natürlich. Somit sind das 1,3mm Niederschlagshöhe.

[hartwigm]

Ich nutze den Baustein seit einiger Zeit und vielen Dank dafür!

Nun habe ich Datum und Wochentag eingebunden und dabei auf ein Fehler/Problem gestoßen.

Wie an dem Screenshot zu sehen ist, wird bei Datum der 29.04. und bei Wochentage kurz Do ausgegeben.

Das passt aber nicht zusammen!

Der 29.04 ist ein Mittwoch !

Sind nun die Daten Wetterdaten an den anderen Ausgängen in der ersten Spalte für den heutigen Mittwoch oder die Vorhersage für Morgen Donnerstag? dwd.PNG

[jonofe]

Das passt aber nicht zusammen!

Der 29.04 ist ein Mittwoch !

Ist das nicht dasselbe wie in #140/#141 diskutiert?

[MrIcemanLE]

Hallo Hartwig,

das Problem ist bekannt (siehe #141 bzw. #137). Ich bereite ein Update vor. Ist nur in letzter Zeit etwas wenig Zeit für Edomi