HS/FS Webabfrage dynamisch

[rossmax]

Hallo,

möchte Bodenfeuchtewerte vom FTP-Portal des DWD im HS verarbeiten. Dazu mache ich zyklisch eine Abfrage mit der Synology und lege die Daten dort ab und entpacke sie. Im Anschluß greife ich mit dem Homeserver per Webabfrage auf die Daten zu. Klappt alles prima. Aber....

Die DWD Liste wird täglich um einen Eintrag am unteren Ende ergänzt der folgende Struktur hat:

XXXX20170509;Wert1;Wert2;Wert3

D.h. der Textblock in der Webabfrage müsste dynamisch gestaltet sein, um immer auf den Eintrag mit dem aktuellen Datum zugreifen zu können. Nun habe ich beim Einlesen in das Thema irgendwo die Vorgehensweise gefunden, an Stelle eines festen Ausdruckes hier eine Gruppenadresse (14 byte Text) in geschweiften Klammern zu hinterlegen: {x/x/x}. Dies funktioniert aber leider nicht. Aus der DEBUG-Seite geht hervor, dass die Abfrage immer genau in der Zeile mit diesem Ausdruck hängenbleibt.

Habe bei erneuter Recherche nur einen Eintrag aus 2006 gefunden, dass die Webabfrage eine solche dynamische Suche nicht unterstützt.

Ist eine solche Abfrage heute möglich? Wie wäre die korrekte Schreibweise?
Welche Alternative Möglichkeit gäbe es auf den die Daten zuzugreifen?

Gruß Max

[rossmax]

Hat niemand einen Tipp?

[bramlangen]

If the Synology can query the website and properly locate the data you need, why then don't you let the HS do the very same query? Alternatively, let the Synology take an additional action and write the current data to a location that always has the same name, so that you don't need anything dynamic.
Bram

[DJ.Picasso]

Hi rossmax,

hier mal einige Screenshots wie ich verschiedene "dynamische" Abfragen umgesetzt habe:

IP-Adresse
url01.jpg

URL Suffix:
14/1/10 und 14/1/53 sind dabei KOs denen Du entsprechend Werte vor der jeweiligen Abfrage mittels Deiner Logik zuordnen kannst (dynamisch).

url02.jpg

Hoffe, das hilft weiter.

Ciao
Der DJ

[rossmax]

Vielen Dank für die Antworten.

@Bram: The File on the DWD-Page is compressed (derived_germany_soil_daily_recent_2023.txt.gz). I don´t know how to access such a file directly with the home server. Therefore I used a step between and first loaded the file to my Synology an decompressed it. Then I accessed the data with the home server. If you know a simpler way, please tell me in more detail.

@DJ: Das kommt der Sache schon näher. Allerdings will ich immer auf das gleiche Dokument zugreifen (Bild 1). Der neuste Datensatz steht nun immer in der letzten Zeile und kann über das Datum am Zeilenanfang identifiziert werden. Da ich die Daten täglich abfragen möchte, ist das Datum entsprechend jeden Tag ein anderes. Dies würde ich nun gerne dynamisch über eine Gruppenadresse lösen (siehe Bild 2 Zeile 10). Das funktioniert bisher aber so nicht.

Alternativ versuche ich gerade, die komplette Seite einzulesen und dann das Ende des Textes über Logik auszuwerten. Ist m.E. aber deutlich weniger elegant. Zudem befürchte ich, dass ich im Verlauf des Jahres die 30000 Zeichen Begrenzung des 14 Byte Objektes überschreite.

[DJ.Picasso]

Hi rossmax,

das funzt auch nicht!! Du kannst die "Dynamik" nur innerhalb der URL nutzen ... aber trotzdem - aus meiner Sicht - kein Problem.

Lies doch einfach den gesamten Text oder von mir aus nur einen Teil des Textes (Ende) aus.
Dann baust Du Dir eine kleine Logik, die Dir, basierend auf dem Datum, die jeweils letzte Zeile auswertet.
That's it, aus meiner Sicht: No Problem.

Ciao
Der DJ

[bramlangen]

If you can make the solution as suggested by DJ.Picasso work, then go that route. If I had to resolve this, then I would write a small Python script to extract the desired information and send it to the HS as an IP telegram. That script would run on the Synology.
Bram

[rossmax]

Habe das Thema jetzt mit dem kompletten Text einlesen umgesetzt und funktioniert gut. Um die Länge des 14 Byte Text Objektes nicht zu überschreiten, habe ich nun 2 Abfragen gemacht. Eine für das erst Halbjahr und eine für das 2. Halbjahr, die alles ab dem Eintrag 01.07. einließt.

Nur das Ende des Textes einzulesen kriege ich mit einer Abfrage nicht hin. Dafür brauchte ich dann wieder die Dynamik. Aber mit 2 Abfragen kann ich die "Dynamik" als kleine Logik außerhalb der Webabfrage platzieren.

Danke für die Unterstützung!