Ankündigung

**mike** · 03.03.2010, 10:05

Ich hatte mir für MH immer eine Tabelle von Hand erstellt, weil ich nicht wusste das es die Daten auch Online geben könnte. Das war immer ung. eine halbe Stunde Arbeit.

Nun habe ich gesehen, dass auch bei mir die Abfuhrdaten-Online verfügbar sind. Ein Scraper dafür in Perl zu schreiben hat auch ung. eine halbe Stunde gedauert. Wenn nun die Webseite nicht geändert wird, dann spare ich mir die halbe Stunde in Zukunft

.

Bei mir habe ich es so realisiert, dass wenn ich das Haus verlasse überprüft wird, ob heute Abfuhrtag ist. Dann erhalte ich eine Meldung auf's Textdisplay.
Am Abend vor der Abholung blinkt eine LED wenn ich zur Tür reinkomme. Allerdings übersehe ich das meistens ...

Mike

**chrismave** · 03.03.2010, 10:48

Zitat von mike Beitrag anzeigen

Ein Scraper dafür in Perl zu schreiben hat auch ung. eine halbe Stunde gedauert.

Mike

Genau das ist ja mein Problem ich habe null Ahnung von Perl, benutze nur copy, paste was ich aber eigentlich verursache weis ich nicht, bin irgendwann auch bei Eurer neuen MH Visu Seite nicht mehr mitgekommen, würdest du mir den sript mal zeigen bzw. zu Verfügung stellen? Würde dann mal versuchen den so zu modifizieren das der auch bei meiner Quelle funz´t allerdings würde ich das nur per Anzeige auf der Startseite der Iphone Visu anzeigen lassen wollen. Die Icons hab ich ja schon von der HS-Version.

Gruß
Christoph

Angehängte Dateien

**mike** · 03.03.2010, 12:12

Zitat von chrismave Beitrag anzeigen

würdest du mir den sript mal zeigen bzw. zu Verfügung stellen?

Kein Problem. Ist allerdings auch nur zusammengestoppelt. Der Perl-Crack bin ich ja nun auch nicht.
Aussen rum ist ein Shell-Script. Das kann man zwar auch ins Perl integrieren, aber mit der Shell bin ich persönlich schneller und ich muss zum Testen nicht immer die Daten runterladen.

Code:

#!/bin/sh
# Script to retrieve Abfuhrkalender pages and scan them
YEAR=10
for q in 01 02 03 04 ; do
  NAME=wa$YEAR$q.htm
  wget http://www.abfall-nr.de/kalender/$NAME >> log 2>&1
  perl scanPage.pl $NAME
done

Dazu habe ich natürlich vorher auf den zu scannenden Seiten nachgeschaut wie die URL der eigentlichen Infoseiten ist. Bei mir gibt es halt pro Quartal eine Seite. In der URL scheint der Jahresname enthalten zu sein. Die HTML-Seite wird jeweils runtergeladen und dann dem Perl-Script vorgeworfen.

Code:

#!/usr/bin/perl -w

use strict;


my $fileName = $ARGV[0];

sub decodeMonth {
  my $name = $_[0];

  return 1 if ($name =~ /Januar/);
  return 2 if ($name =~ /Februar/);
  return 3 if ($name =~ /M.rz/);
  return 4 if ($name =~ /April/);
  return 5 if ($name =~ /Mai/);
  return 6 if ($name =~ /Juni/);
  return 7 if ($name =~ /Juli/);
  return 8 if ($name =~ /August/);
  return 9 if ($name =~ /September/);
  return 10 if ($name =~ /Oktober/);
  return 11 if ($name =~ /November/);
  return 12 if ($name =~ /Dezember/);
  die "Wrong month name";
}

if (open (INFILE, $fileName)) {
  my @lines = <INFILE>;
  my ($day, $month, $year);
  foreach my $line (@lines) {
    if ($line =~ /<th colspan=.3.>(.+)\s+([0-9]+)<\/th>/) {
      $month = decodeMonth($1);
      $year = $2;
    } elsif ($line =~ /<td.*>([0-9]+)<\/td>/) {
      $day = $1;
      #print "$day $month $year\n";
    } elsif ($line =~/"4g.gif"/) {
      print "\"$year-$month-$day\" => \"gruen\",\n";
    } elsif ($line =~/"4bs.gif"/) {
      print "\"$year-$month-$day\" => \"grau/braun\",\n";
    } elsif ($line =~/"4bl.gif"/) {
      print "\"$year-$month-$day\" => \"blau\",\n";
    } elsif ($line =~/"4blb.gif"/) {
      print "\"$year-$month-$day\" => \"blau/braun\",\n";
    } elsif ($line =~/"4bg.gif"/) {
      print "\"$year-$month-$day\" => \"gruen/braun\",\n";
    } elsif ($line =~/"t.gif"/) {
      print "\"$year-$month-$day\" => \"Weihnachtsbaum\",\n";
    }
  }
}

Das Script ist sozusagen zurechtgefrickelt. Es analysiert nicht die HTML-Struktur, sondern reagiert auf bestimmte Muster. Es ist halt so, das als erstes Monat und Jahr im HTML steht und dann jeweils das Tagesdatum. Darunter sind dann die Grafiken. Sobald eine Grafik erkannt wird, wird das aktuell gefundene Dateum inklusive der Info, was die Grafik bedeutet in einem Format ausgegeben, wie es in MH integriert werden kann.

Mike

**chrismave** · 03.03.2010, 12:28

Verstehe ich das so das ich beide Dateien in das code Verzeichniss legen muss?

Den zweiten Code als *.pl aber wie den ersten da du da was von shell schreibst. (wenn Fragezeichen fliegen könnte wäre meine decke jetzt voll!)

Ich glaube ich muss mal lesen,lesen... hast du einen Tip, ich habe wircklich 0 Ahnung, das einzige was ich einigermassen noch verstehe,
ist die "if then else" schleife, die kommt mir noch von meinem C64 Grundkurs der Schule bekannt vor! Wobei ich da auch nur den zweck verstehe.

Thanks a lot!

Christoph

**mike** · 03.03.2010, 12:56

Ah sorry, der Sinn des Shell-Scripts und des Perl-Scripts ist es Kode zu erzeugen, der dann in MH verwendet werden kann. D.h. der Aufruf erfolgt so:
./getdata
und das Ergebnis ist (an der Kommandozeile):

Code:

"2010-1-07" => "gruen",
"2010-1-14" => "grau/braun",
"2010-1-21" => "blau",
"2010-1-28" => "gruen",
"2010-1-29" => "Weihnachtsbaum",
"2010-2-04" => "grau/braun",
"2010-2-11" => "blau",
"2010-2-19" => "gruen",
"2010-2-25" => "grau/braun",
"2010-3-04" => "blau/braun",
"2010-3-11" => "gruen/braun",
...

Diese Ausgabe wird dann in MH in ein Hash gefüllt und man erhält zu einem Datum die Farbe der Mülltonne (oder nichts, wenn an dem Tag keine Abfuhr ist).

Dieser Kode, ist der Kode den ich sonst per Hand eintippe ...

In MH habe ich das nicht in einer Visu integriert, sondern ich suche per aktuellem Datum ob in Tagesnähe die Abfuhr ist. Wenn das so ist, dann erfolgen irgendwelche Reaktionen ...
Dieser Kode ist aber ziemlich speziell ...

Mike

**JoergA** · 11.03.2010, 21:50

Hi zusammen,

hmm, ich meine dies hatte auch mal jemand über einen google-Kalender gelöst. Dieser ändert sich ja nicht und muß halt ab und an mit den Daten gefüllt werden. Ich meine, der Kalender wurde auch mit Feriendaten gefüttert und MH hat dann entsprechend reagiert.

Ich hatte auch mal versucht, Google Kalender auszulesen bin jedoch kläglich gescheitert :-(

Leider fällt mir nicht mehr ein, wer dies gelöst hatte und die Suche hat mich auch nicht weitergebracht.

VG
Joerg

Ankündigung

MisterHouse Müllkalender Versuch.

MisterHouse Müllkalender Versuch.

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar