HS/FS Seit 19.01.16 geht die Abfrage auf wetteronline.de nicht mehr / bekomme Fehler 403

[ChristianLu]

Hallo,

seit Jahren fragt unser HS das Wetter von wetteronline.de ab und errechnet daraus den Wärmebedarf für unser Haus. Immer um den Jahreswechsel wird die Webseite ein wenig angepasst, sodass ich das Parsing nachziehen muss. Seit dem 19.01.2016 bekomme ich allerdings immer eine Fehlermeldung zurück:

22.01.2016 22:17:12 (IP: www.wetteronline.de) (Port: 80)
(Send: 81) 0x47 0x45 0x54 0x20 0x2f 0x77 0x65 0x74 0x74 0x65 0x72 0x2f 0x68 0x69 0x6c 0x64 0x65 0x73 0x68 0x65 0x69 0x6d 0x20 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x30 0xd 0xa 0x48 0x6f 0x73 0x74 0x3a 0x20 0x77 0x77 0x77 0x2e 0x77 0x65 0x74 0x74 0x65 0x72 0x6f 0x6e 0x6c 0x69 0x6e 0x65 0x2e 0x64 0x65 0xd 0xa 0x43 0x6f 0x6e 0x6e 0x65 0x63 0x74 0x69 0x6f 0x6e 0x3a 0x20 0x43 0x6c 0x6f 0x73 0x65 0xd 0xa 0xd 0xa
GET /wetter/hildesheim HTTP/1.0 Host: www.wetteronline.de Connection: Close
(Recv: 516) 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x30 0x20 0x34 0x30 0x33 0x20 0x46 0x6f 0x72 0x62 0x69 0x64 0x64 0x65 0x6e 0xd 0xa 0x53 0x65 0x72 0x76 0x65 0x72 0x3a 0x20 0x41 0x6b 0x61 0x6d 0x61 0x69 0x47 0x48 0x6f 0x73 0x74 0xd 0xa 0x4d 0x69 0x6d 0x65 0x2d 0x56 0x65 0x72 0x73 0x69 0x6f 0x6e 0x3a 0x20 0x31 0x2e 0x30 0xd 0xa 0x43 0x6f 0x6e 0x74 0x65 0x6e 0x74 0x2d 0x54 0x79 0x70 0x65 0x3a 0x20 0x74 0x65 0x78 0x74 0x2f 0x68 0x74 0x6d 0x6c 0xd 0xa 0x43 0x6f 0x6e 0x74 0x65 0x6e 0x74 0x2d 0x4c 0x65 0x6e 0x67 0x74 0x68 0x3a 0x20 0x32 0x39 0x30 0xd 0xa 0x45 0x78 0x70 0x69 0x72 0x65 0x73 0x3a 0x20 0x46 0x72 0x69 0x2c 0x20 0x32 0x32 0x20 0x4a 0x61 0x6e 0x20 0x32 0x30 0x31 0x36 0x20 0x32 0x31 0x3a 0x31 0x37 0x3a 0x31 0x32 0x20 0x47 0x4d 0x54 0xd 0xa 0x44 0x61 0x74 0x65 0x3a 0x20 0x46 0x72 0x69 0x2c 0x20 0x32 0x32 0x20 0x4a 0x61 0x6e 0x20 0x32 0x30 0x31 0x36 0x20 0x32 0x31 0x3a 0x31 0x37 0x3a 0x31 0x32 0x20 0x47 0x4d 0x54 0xd 0xa 0x43 0x6f 0x6e 0x6e 0x65 0x63 0x74 0x69 0x6f 0x6e 0x3a 0x20 0x63
HTTP/1.0 403 Forbidden Server: AkamaiGHost Mime-Version: 1.0 Content-Type: text/html Content-Length: 290 Expires: Fri, 22 Jan 2016 21:17:12 GMT Date: Fri, 22 Jan 2016 21:17:12 GMT Connection: c

Wenn ich den Request vom Browser aus absetze, dann scheint alles zu funktionieren:

GET /wetter/hildesheim HTTP/1.1
Accept: image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-ms-application, application/x-ms-xbap, application/vnd.ms-xpsdocument, application/xaml+xml, */*
Accept-Language: de
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 1.1.4322; InfoPath.2; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; OfficeLiveConnector.1.5; OfficeLivePatch.1.3)
Accept-Encoding: gzip, deflate
Host: www.wetteronline.de
Connection: Keep-Alive
Cookie: testcookie; POPUPCHECK=1453577279893; WO_COOKIE=1; WOM-Settings=prev_sid=MediumTerm|prev_pid=p_city_weath er|pid=p_city_weather|prev_pcid=pc_city_weather|pc id=pc_city_weather|prev_gid=10134|gid=10134; __gads=ID=25775c8dee5bc3b3:T=1453490869:S=ALNI_MZx 6SISXQ0yMAlqkkoD33aWhqQkhg; _ga=GA1.2.1987482939.1453490873; _gat_UA-10522068-2=1; _gat_desktopWoUA=1; WOasrem=Hildesheim

HTTP/1.1 200 OK
Server: Apache
X-RO: www
X-XSS-Protection: 1; mode=block
X-RR: D=211301
Content-Type: text/html; charset=UTF-8
Vary: Accept-Encoding
Content-Encoding: gzip
Date: Fri, 22 Jan 2016 20:08:29 GMT
Transfer-Encoding: chunked
Connection: keep-alive
Connection: Transfer-Encoding
Vary: User-Agent

Ich verwende als Host www.wetteronline.de mit Port 80 und als URL (nur Pfad) /wetter/Hildesheim. Das hat immer einwandfrei funktioniert.

Hat jemand das gleiche Problem und evtl. schon gelöst?

Viele Dank und viele Grüße
Christian

[JuergenK]

Gleiches Problem hier. Hab leider auch noch keine Lösung

[MatthiasS]

403 Forbidden

Ist derzeit so. Mal sehen, wer eine Lösung findet.

[ChristianLu]

So, ich habe noch einmal ein wenig gebastelt. Interessant ist, dass die Namensauflösung zwischen HS und Browser scheinbar unterschiedliche Ergebnisse liefert. während der HS mit dem Server 88.221.235.49 spricht, wendet sich der Browser an 88.221.235.20. Das Ergebnis ist auch stabil, d.h. wenn ich die Abfrage wiederhole, werden die gleichen Server angesprochen. Erzwinge ich im Homeserver die IP Adresse, mit der der Browser spricht, dann bekomme ich als Antwort ein 400 Bad Request Server.

[Stony]

Hab leider das gleiche Problem. Seit Jahren ohne Probleme und nun das.
Kann es sein, dass WO den Aufruf auf bestimmte Browser einschränkt?
Wenn ich die WO-Seite vom Uralt-Browser IE8 auf dem Control19 aufrufe, wird auch nichts angezeigt.

Gruß
Andreas

[ChristianLu]

Das klingt sehr merkwürdig. Ich habe noch eine alte VM auf meinem Laptop mit Windows XP und einem IE8. Da funktioniert es.

[Michi26206]

Hallo zusammen,

ich habe eine Lösung für das Problem gefunden:

Die Webabfrage muss im HTTP-Header einen gültigen User-Agent enthalten. Ist dies der Fall klappt es.

Grüße

[JuergenK]

Hallo Michi, vielen Dank. Was heisst "gültiger User-Agent". Sorry die Ignoranz....

[ChristianLu]

Hallo Michi,
das klingt super! Ich hatte damit auch schon rumgebastelt. Leider erfolglos. Kannst du hier vielleicht ein Beispiel deines Requests posten (meiner im Anhang - der ist vermutlich zu lang)?
Viele Grüße
Christian

[Michi26206]

Hallo,

der HTTP-Header meiner Webabfrage ist ziemlich "schlank" (siehe Anhang).

Die größten Unterschiede zu deiner Abfrage sind das Connection: close und die leere Zeile mit CRLF. (Wenn du willst kannst du deine Abfrage mal an diesen stellen und testen an was es genau liegt. Falls das auch nicht klappt meine übernehmen)

Grüße

PS: der User-Agent String des HTTP-Header stehen Informationen zum Client. Gibt z.B. an um welchen Browser es sich handelt. Gültig war evtl. etwas ungünstig ausgedrückt.

[ChristianLu]

Vielen Dank für das austüfteln. Jetzt klappt es auch wieder bei mir :-)

[rudi26]

Schließe mich dem an und sage danke

[JuergenK]

Super. Danke. We're ich morgen map ausprobieren !!

[knxhans]

Auch ein Danke von mir!

[Stony]

Perfekt. 5 Zeilen und schon läuft alles wieder.
Meine Frau ist wieder zufrieden.

Vielen Dank.