HS/FS Dynamische Webabfragen per Logik

[NilsS]

In Planung sind auch noch weitere Logikbasuteine zur Asuwertung von Webabfragen (hauptsächlich Wetterdaten).

Fakt ist es gibt eine Anzahl von kostenlosen Diensten die jedoch Aufgrund des ständigen Designwechsels nicht besonders zuverlässig für diesen Zweck sind.

Die Abfragen über einen Zentralen Server (wie z.B. die xxAPI über den hiesigen Forenserver) zu machen geht in der im HS jetzigen Form rechtlich nicht, da die Daten natürlich nicht UNS (knx-user-forum) gehören und somit auch nicht verteilt werden dürfen.

Die Webabfragen die ja nur kleine Bruchstücke und eine Logik enthalten um diese Daten in iKO zu bringen können jedoch verteilt werden.

Dies geht jedoch nur über den Experten mit mehr oder weniger Aufwand.

Jetzt zu meiner Idee:
Wenn man die Webabfragen nun mit einem Logikbaustein per regex in ein vorher definiertes Format bringt, dann kann ein XML2iKO Baustein die Daten daraus weiterverwenden.

Mal wieder ein bisschen Braindump:


E1: RegexPattern vom Updateserver
E2: sendstring vom Updateserver
E3: kompletten Empfang der Webabfrage
E4: Paramter (Ort)

A1: sendstring (gepaart mit E2 + E4) zur Webabgrage "GET /blahblub?ort=hier HTTP/1.0..."
A2: XML

Das sähe dann in etwa so aus.

....<td class='somecss'>15° C</td>.......heiter..<img src='/img/day_d_143.gif' alt='.... 

und daraus würde dann

<xml>......<morgenstemp>15</morgenstemp><morgenstext>heiter</morgenstext><morgensgif>23</morgensgif>... 

Die Ausgabe der einzelnen Wetterdienste sollte dabei auf möglichst gleiche XML Tags ausgeführt werden, so können die anschliessenden Parser einfach durch einen Ausgangswahlschalter zwischen den Wetterdiensten wechseln.

Der Parser wäre dann entweder der von Dacom Datenaustausch Integer aus XML Struktur und einer Anpassung davon Text aus XML Struktur.

Der Ausgang aus dem Regexbaustein würde dann einfach an alle Parser in Ausgang E5 gehen.
Baustein IntegerausXML:
E1: morgenstemp
E2: morgensgif
E3:
E4:

A1: iKO Morgens-Temperatur
A2: iKO Morgens - Gif

Baustein TextausXML:
E1: morgenstext
E2:
E3:
E4:

A1: iKO Morgens-Text
A2:

[EPIX]

Super idee

nachdem ich schon seit Tagen erfolglos an einer Wetterabfrage herumbastel https://knx-user-forum.de/knx-eib-fo...=at.wetter.com

wäre eine dyn. Abfrage natürlich eine wesentliche Erweiterung...

Die endlos-Zyklen bim HS
- Experte->laden->warten>warten>warten>warten->testen->funktioniert nicht->Experte->laden>warten>warten>warten>warten

hängen mir schon zum Haus raus!!

[NilsS]

So es gibt schon mal nen Beta Baustein 12235_dynWEB.hsl

## -----------------------------------------------------
## xxAPI dynWEB   Version 0.8
## -----------------------------------------------------
## Copyright © 2009, knx-user-forum e.V, All rights reserved.
##
## This program is free software; you can redistribute it and/or modify it under the terms
## of the GNU General Public License as published by the Free Software Foundation; either
## version 3 of the License, or (at your option) any later version.
##
## This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY;
## without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
## See the GNU General Public License for more details.
##
## You should have received a copy of the GNU General Public License along with this program;
## if not, see <http:##www.gnu.de/documents/gpl-3.0.de.html>.
#5000|"Text"|Remanent(1/0)|Anz.Eingänge|.n.|Anzahl Ausgänge|.n.|.n.
#5001|Anzahl Eingänge|Ausgänge|Offset|Speicher|Berechnung bei Start
#5002|Index Eingang|Default Wert|0=numerisch 1=alphanummerisch
#5003|Speicher|Initwert|Remanent
#5004|ausgang|Initwert|runden binär (0/1)|typ (1-send/2-sbc)|0=numerisch 1=alphanummerisch
#5012|abbruch bei bed. (0/1)|bedingung|formel|zeit|pin-ausgang|pin-offset|pin-speicher|pin-neg.ausgang
5000|"xxAPI\dynWEB"|1|4|"E1 RegexPattern(base64)"|"E2 Websource receive"|"E3 load URL"|"E4 Custom sendstring"|2|"A1 websource send"|"A2 xml-out"
5001|4|2|0|2|0      
5002|1|""|1     # Eingang  1, RegexPattern
5002|2|""|1     # Eingang  2, Websource receive
5002|3|""|1     # Eingang  3, Load URL
5002|4|""|1     # Eingang  4, Custom sendstring
5003|1|""|1      # Speicher 1, Regex search
5003|2|""|1      # Speicher 2, Regex replace
5004|1|""|0|1|1      # Ausgang 1,  Websource send
5004|2|""|0|1|1      # Ausgang 2,  xml out
 
#######################  Definition der Funktion   ############################# 
 
#Regex Pattern laden
5012|0|"EC[1]"|"__import__('base64').decodestring(str((EN[1])[:(EN[1].find('*'))]))"|""|0|0|1|0
5012|1|"EC[1]"|"__import__('base64').decodestring(str((EN[1])[(EN[1].find('*')):]))"|""|0|0|2|0
#Regex anwenden
5012|1|"EC[2] and len(SN[1])>0 and len(SN[2])>0"|"__import__('re').sub(SN[1],SN[2],EN[2])"|""|2|0|0|0

Die Webabfrage für Regexpattern liegt im Moment noch im Bereich der xxAPI, da ich mit Alfred noch nicht bzgl. Freigabe eines solchen Systems gesprochen habe. Da muß vorher noch geklärt werden das da kein geistiges Eigentum verletzt wird. (sollte aber kein Problem sein wir haben ja nur ein paar regex Fetzen und keine "DATEN" die wir verteilen)

Die Bausteine zum Wandeln des XML in Werte lad ich morgen in den DL-Bereich.https://knx-user-forum.de/downloads.php?do=file&id=265
Die waren ähnlich gedacht wie die Dacom XML4Num 18031 hab sie dann allerdings mit regex anstatt mit string funktionen geparst, vielleicht kann da ja mal jemand Vor/Nachteile (performance) posten.


Was jetzt wichtig wäre ist eine einheitliche XML Definition für Wetterdaten zu erstellen die die wichtigsten Daten enthällt. Wenn alle Wetterwebabfragen die über diesen Weg geparst werden die gleiche Definition verwenden, dann kann man sie im Fehlerfall einfach austauschen.

Wenn wir dann noch eine einheitliche ICON Nummerierung hinkriegen, kann jeder seine eigenen ICONS mit jeder beliebigen Wetterabfrage die Icondaten liefert, füttern.

Was gibts denn alles so für interessante Werte?

[NilsS]

So sähe z.B. ein Test für wetteronline Tiefst Temperaturen aus

search

 
(?s).*Tiefst-<br>Temperatur.*color="#0060ff">([\d]*).*color="#0060ff">([\d]*).*color="#0060ff">([\d]*).*

replace

 
<xml><tieftemp>\\1</tieftemp><tieftemp2>\\2</tieftemp2><tieftemp3>\\3</tieftemp3></xml>

[NilsS]

So soll das mal arbeiten

[AScherff]

OT wetterdaten...

ich bin beim spielen mit meinen IPhone über folgendes gestolpert....

http://apple.accuweather.com/adcbin/apple/Apple_Weather_Data.asp?zipcode=EUR|DE|GM007|FRANKFURT

Damit holt das Iphone die Wetterdaten....

es folgt das Wetter als XML:

<adc_Database>
<WatchWarnAreas zone="Z" county="C"/>
<GmtDiff DayLightSavings="1">
        1
    </GmtDiff>
−
<CurrentConditions>
<City>
            Frankfurt
        </City>
<State>
            
        </State>
<DaylightSavingsActive/>
<Time>
            09:07
        </Time>
<Pressure state="Rising">
            30.16
        </Pressure>
<Temperature>
            54
        </Temperature>
<RealFeel>
            52
        </RealFeel>
<Humidity>87%</Humidity>
<WeatherText>
            PARTLY SUNNY
        </WeatherText>
<WeatherIcon>
            03
        </WeatherIcon>
<WindSpeed>
            2
        </WindSpeed>
<WindDirection>
            E
        </WindDirection>
<Visibility>
            10
        </Visibility>
<Precip>
            0.00
        </Precip>
<UVIndex>
            0
        </UVIndex>
<Copyright>AccuWeather, Inc.</Copyright>
</CurrentConditions>
−
<AirAndPollen>
<Tree>N(0)</Tree>
<Weed>N(0)</Weed>
<Grass>N(0)</Grass>
<Mold>N(0)</Mold>
<AirQuality>G(0)</AirQuality>
<AirQualityType>
            0
        </AirQualityType>
</AirAndPollen>
−
<Planets>
<Sun rise="6:47" set="19:59"/>
<Moon rise="20:08" set="8:48"/>
<Mercury rise="9:05" set="20:15"/>
<Venus rise="3:51" set="18:56"/>
<Mars rise="0:44" set="17:06"/>
<Jupiter rise="19:08" set="4:37"/>
<Saturn rise="7:38" set="20:28"/>
<Uranus rise="20:16" set="7:59"/>
<Neptune rise="19:15" set="5:09"/>
<Pluto rise="15:53" set="1:01"/>
</Planets>
−
<Moon>
<Phase date="8/31/2009" text="">
            10
        </Phase>
<Phase date="9/1/2009" text="">
            11
        </Phase>
<Phase date="9/2/2009" text="">
            12
        </Phase>
<Phase date="9/3/2009" text="">
            13
        </Phase>
<Phase date="9/4/2009" text="Full">
            14
        </Phase>
<Phase date="9/5/2009" text="">
            14
        </Phase>
<Phase date="9/6/2009" text="">
            15
        </Phase>
<Phase date="9/7/2009" text="">
            16
        </Phase>
<Phase date="9/8/2009" text="">
            17
        </Phase>
<Phase date="9/9/2009" text="">
            18
        </Phase>
<Phase date="9/10/2009" text="">
            19
        </Phase>
<Phase date="9/11/2009" text="">
            20
        </Phase>
<Phase date="9/12/2009" text="Last">
            21
        </Phase>
<Phase date="9/13/2009" text="">
            23
        </Phase>
<Phase date="9/14/2009" text="">
            24
        </Phase>
<Phase date="9/15/2009" text="">
            25
        </Phase>
<Phase date="9/16/2009" text="">
            26
        </Phase>
<Phase date="9/17/2009" text="">
            27
        </Phase>
<Phase date="9/18/2009" text="New">
            1
        </Phase>
<Phase date="9/19/2009" text="">
            0
        </Phase>
<Phase date="9/20/2009" text="">
            1
        </Phase>
<Phase date="9/21/2009" text="">
            2
        </Phase>
<Phase date="9/22/2009" text="">
            3
        </Phase>
<Phase date="9/23/2009" text="">
            4
        </Phase>
<Phase date="9/24/2009" text="">
            5
        </Phase>
<Phase date="9/25/2009" text="">
            6
        </Phase>
<Phase date="9/26/2009" text="First">
            7
        </Phase>
<Phase date="9/27/2009" text="">
            7
        </Phase>
<Phase date="9/28/2009" text="">
            8
        </Phase>
<Phase date="9/29/2009" text="">
            9
        </Phase>
<Phase date="9/30/2009" text="">
            10
        </Phase>
<Phase date="10/1/2009" text="">
            11
        </Phase>
</Moon>
−
<Forecast>
<UFDB>
            
        </UFDB>
−
<day number="1">
<ObsDate>
                8/31/2009
            </ObsDate>
<DayCode>
                Monday
            </DayCode>
<TXT_Short>
                Comfortable with some sun
            </TXT_Short>
<TXT_Long>
                Comfortable with sun and some clouds
            </TXT_Long>
<WeatherIcon>
                03
            </WeatherIcon>
<High_Temperature>
                77
            </High_Temperature>
<Low_Temperature>
                54
            </Low_Temperature>
<Real_Feel_High>
                80
            </Real_Feel_High>
<Real_Feel_Low>
                56
            </Real_Feel_Low>
<WindSpeed>
                5
            </WindSpeed>
<WindDirection>
                SSE
            </WindDirection>
<WindGust>
                11
            </WindGust>
<Max_UV>
                4
            </Max_UV>
<Rain_Amount>
                0.00
            </Rain_Amount>
<Snow_Amount>
                0.00
            </Snow_Amount>
<Precip_Amount>
                0.00
            </Precip_Amount>
<TStorm_Prob>
                0
            </TStorm_Prob>
</day>
−
<day number="2">
<ObsDate>
                9/1/2009
            </ObsDate>
<DayCode>
                Tuesday
            </DayCode>
<TXT_Short>
                A thunderstorm in spots
            </TXT_Short>
−
<TXT_Long>

                Times of sun and clouds with a shower or thunderstorm in spots in the afternoon
            
</TXT_Long>
<WeatherIcon>
                17
            </WeatherIcon>
<High_Temperature>
                81
            </High_Temperature>
<Low_Temperature>
                56
            </Low_Temperature>
<Real_Feel_High>
                82
            </Real_Feel_High>
<Real_Feel_Low>
                55
            </Real_Feel_Low>
<WindSpeed>
                10
            </WindSpeed>
<WindDirection>
                SW
            </WindDirection>
<WindGust>
                23
            </WindGust>
<Max_UV>
                4
            </Max_UV>
<Rain_Amount>
                0.05
            </Rain_Amount>
<Snow_Amount>
                0.00
            </Snow_Amount>
<Precip_Amount>
                0.05
            </Precip_Amount>
<TStorm_Prob>
                31
            </TStorm_Prob>
</day>
−
<day number="3">
<ObsDate>
                9/2/2009
            </ObsDate>
<DayCode>
                Wednesday
            </DayCode>
<TXT_Short>
                Pleasant with sun and clouds
            </TXT_Short>
<TXT_Long>
                Pleasant with sun and clouds
            </TXT_Long>
<WeatherIcon>
                04
            </WeatherIcon>
<High_Temperature>
                74
            </High_Temperature>
<Low_Temperature>
                54
            </Low_Temperature>
<Real_Feel_High>
                75
            </Real_Feel_High>
<Real_Feel_Low>
                54
            </Real_Feel_Low>
<WindSpeed>
                5
            </WindSpeed>
<WindDirection>
                SW
            </WindDirection>
<WindGust>
                12
            </WindGust>
<Max_UV>
                4
            </Max_UV>
<Rain_Amount>
                0.00
            </Rain_Amount>
<Snow_Amount>
                0.00
            </Snow_Amount>
<Precip_Amount>
                0.00
            </Precip_Amount>
<TStorm_Prob>
                0
            </TStorm_Prob>
</day>
−
<day number="4">
<ObsDate>
                9/3/2009
            </ObsDate>
<DayCode>
                Thursday
            </DayCode>
<TXT_Short>
                Rain and drizzle; not as warm
            </TXT_Short>
−
<TXT_Long>

                Not as warm with occasional rain and drizzle
            
</TXT_Long>
<WeatherIcon>
                18
            </WeatherIcon>
<High_Temperature>
                67
            </High_Temperature>
<Low_Temperature>
                52
            </Low_Temperature>
<Real_Feel_High>
                63
            </Real_Feel_High>
<Real_Feel_Low>
                47
            </Real_Feel_Low>
<WindSpeed>
                9
            </WindSpeed>
<WindDirection>
                S
            </WindDirection>
<WindGust>
                29
            </WindGust>
<Max_UV>
                3
            </Max_UV>
<Rain_Amount>
                0.10
            </Rain_Amount>
<Snow_Amount>
                0.00
            </Snow_Amount>
<Precip_Amount>
                0.10
            </Precip_Amount>
<TStorm_Prob>
                6
            </TStorm_Prob>
</day>
−
<day number="5">
<ObsDate>
                9/4/2009
            </ObsDate>
<DayCode>
                Friday
            </DayCode>
<TXT_Short>
                Periods of rain
            </TXT_Short>
<TXT_Long>
                Periods of rain
            </TXT_Long>
<WeatherIcon>
                18
            </WeatherIcon>
<High_Temperature>
                61
            </High_Temperature>
<Low_Temperature>
                51
            </Low_Temperature>
<Real_Feel_High>
                58
            </Real_Feel_High>
<Real_Feel_Low>
                44
            </Real_Feel_Low>
<WindSpeed>
                14
            </WindSpeed>
<WindDirection>
                SW
            </WindDirection>
<WindGust>
                30
            </WindGust>
<Max_UV>
                3
            </Max_UV>
<Rain_Amount>
                0.19
            </Rain_Amount>
<Snow_Amount>
                0.00
            </Snow_Amount>
<Precip_Amount>
                0.19
            </Precip_Amount>
<TStorm_Prob>
                55
            </TStorm_Prob>
</day>
−
<day number="6">
<ObsDate>
                9/5/2009
            </ObsDate>
<DayCode>
                Saturday
            </DayCode>
<TXT_Short>
                Cloudy and cool with showers
            </TXT_Short>
<TXT_Long>
                Still cloudy and cool with showers
            </TXT_Long>
<WeatherIcon>
                12
            </WeatherIcon>
<High_Temperature>
                55
            </High_Temperature>
<Low_Temperature>
                47
            </Low_Temperature>
<Real_Feel_High>
                50
            </Real_Feel_High>
<Real_Feel_Low>
                45
            </Real_Feel_Low>
<WindSpeed>
                13
            </WindSpeed>
<WindDirection>
                WSW
            </WindDirection>
<WindGust>
                29
            </WindGust>
<Max_UV>
                3
            </Max_UV>
<Rain_Amount>
                0.22
            </Rain_Amount>
<Snow_Amount>
                0.00
            </Snow_Amount>
<Precip_Amount>
                0.22
            </Precip_Amount>
<TStorm_Prob>
                0
            </TStorm_Prob>
</day>
−
<day number="7">
<ObsDate>
                9/6/2009
            </ObsDate>
<DayCode>
                Sunday
            </DayCode>
<TXT_Short>
                Partly sunny and warmer
            </TXT_Short>
<TXT_Long>
                Partly sunny and warmer
            </TXT_Long>
<WeatherIcon>
                03
            </WeatherIcon>
<High_Temperature>
                62
            </High_Temperature>
<Low_Temperature>
                44
            </Low_Temperature>
<Real_Feel_High>
                61
            </Real_Feel_High>
<Real_Feel_Low>
                45
            </Real_Feel_Low>
<WindSpeed>
                7
            </WindSpeed>
<WindDirection>
                NNW
            </WindDirection>
<WindGust>
                17
            </WindGust>
<Max_UV>
                4
            </Max_UV>
<Rain_Amount>
                0.00
            </Rain_Amount>
<Snow_Amount>
                0.00
            </Snow_Amount>
<Precip_Amount>
                0.00
            </Precip_Amount>
<TStorm_Prob>
                0
            </TStorm_Prob>
</day>
</Forecast>
<Copyright>Copyright 2009 AccuWeather.com </Copyright>
<Use>Apple Widget</Use>
<Redistribution>Redistribution Prohibited.</Redistribution>
</adc_Database>

[NilsS]

meintest du das im Bezug auf die XML Tags?

Die Daten von accuweather sind sonst sehr bescheiden. Sind bei Windowsmobile auch drauf.google und yahoo liefern die ja sonst auch als xml. Nur wetter.com/wetteronline und proplanta sind von der Qualität der Daten sehr viel treffender.


bzgl. der XML Tags. Wir haben ja auch noch einige ICONS die wir in 8bit Zahlen wandeln wollen.

[EPIX]

wenn man metric=1 anfügt gibt's die daten in °C, km usw...

zB für Salzburg

[URL="http://apple.accuweather.com/adcbin/apple/Apple_Weather_Data.asp?zipcode=EUR|AT|AU005|SALZBURG&metric=1"][U][COLOR=#800080]http://apple.accuweather.com/adcbin/apple/Apple_Weather_Data.asp?zipcode=EUR|AT|AU005|SALZBURG&metric=1[/COLOR][/U][/URL]

[NilsS]

OK dann nehm ich das mal als (DTD)
Da der HS ja kein echtes DOM kann muss alles in einer Ebene stattfinden, also kein <day1><temp>12</temp></day1><day2><temp>15</temp></day2>, sondern <day1_temp>12</day1_temp>.
Attribute gehen auch nicht.

<now_Time>
<now_Temp>
<now_FeelTemp>
<now_Humidity>
<now_Text>
<now_Icon>
<now_WindSpeed>
<now_WindDir>
<now_UVIndex>

<day1_Date>
<day1_DoW>
<day1_HighTemp>
<day1_LowTemp>
<day1_HighFeelTemp>
<day1_LowFeelTemp>
<day1_morning_text>
<day1_noon_text>
<day1_evening_text>
<day1_morning_icon>
<day1_noon_icon>
<day1_evening_icon>
<day1_WindSpeed>
<day1_WindDir>
<day1_maxUV>

dann hätten wir ja schonmal eine Beschreibung nach "ZEIT"_"FUNKTION"

Ich werd dann mal Serverseitig mal ein bisschen was bauen um einen auswahl an Seiten einzubauen.

[NilsS]

So da es ja gerade mal wieder aktuell ist, ich hoffe das sich das jetzt demnächst ändert

Die Möglichkeiten sind ja mit den ByteCode/Base64 Logikbausteinen quasi gegeben und auch der Ansatz hier funktioniert eigentlich schon recht gut.

[EPIX]

Hallo Nils!

Bist du schon weitergekommen?

Der beste XML-Wetterbericht ist mE weather.com den man (nach Registrierung) gratis erhält (gibt's auch von Google oder Yahoo als XML).
Damit kann man sich die ewigen Änderungen bei Änderung der Website sparen...

Die Aufbereitung der Webabfrage ist allerdings etwas aufwändig, da für jeden XML Wert wild herumgeklickt werden muss. Der DACOM Baustein XML->Num beschränkt sich leider nur auf zahlen und hat auch keinen Offset (oder Weitergabe des unbearbeiteten XML-Strings)
Da wäre natürlich eine flexible Lösung gefragt...

[NilsS]

Ja da wird bald was kommen, bischen Geduld, sind einfach zu viele Baustellen.


XML2INT XML2Text in überarbeiteter Form

https://knx-user-forum.de/downloads.php?do=file&id=265

[EPIX]

Die Bausteine habe ich bereits ausgetestet - gestern noch einmal: ich komme zu keinem Ergebnis = Ausgabe

Erster Baustein: nur EIN XML-Tag (String)
2. Baustein: Versuch einen SUb-XML aus einem XML-Block zu isolieren
3. Baustein: ein XML-Tag mit numerischen Wert

Die Bausteine werden alle 5 sec. ausgeführt, am Eingang habe ich den Text gem. Textanzeige als Fixwert eingefügt und probiere mit den versch. XML-Tags die Tags auszulesen.
Die AusgabeiKO's sind immer leer... (14Byte bzw 16bit)

[NilsS]

Nur den tagname ohne Klammer

es wird jedoch nur bei ec berechnet nicht bei Ei

also musst du den wert da per Telegramm draufschicken

du kannst auch welche hintereinander verketten childnodes
is aber kein echtes Dom Sonden lediglich der wert zwischen dem ersten und dem letzten Tag aus dem Eingang

[EPIX]

Danke Nils, du großer Meister...

OK, also wenn ich Telegramme sende, dann zerlegt der diese nach den Tags...

Weather.com hat allerdings diese XML-Struktur:

<weather ver="2.0">
+<head>
+<loc id="AUXX0018">
+<cc>
+<dayf>
<lsup>1/31/10 7:30 AM Local Time</lsup>
+<day [B]d="0" t="Sunday" dt="Jan 31"[/B]>
+<day d="1" t="Monday" dt="Feb 1">
+<day d="2" t="Tuesday" dt="Feb 2">
+<day d="3" t="Wednesday" dt="Feb 3">
+<day d="4" t="Thursday" dt="Feb 4">

d.h in den Tags sind Werte, sich sich ändern...
die Abfrage mit Wildcard-XML-Tags funktioniert nicht
(zB. day d="4*)

Hast du einen Tip?