[Featurewunsch] Filter im Monitor-Log?

[nno]

Ich hätte nochmal einen Punkt für die Wunschliste: Filterfunktion im Monitor-Log

Habe immer wieder das Problem, dass ich im Monitor-Log vor lauter Wald die Bäume nicht sehe (oder umgekehrt ). Wir haben einige Temperatursensoren, die recht häufig Infos auf den Bus schicken und damit den Monitor-Log "zumüllen". Es wäre daher super, wenn man eine Blacklist mit GA anlegen könnte und bei Bedarf dann diese GAs im Monitor-Log ausgeblendet werden. Im Moment kopiere ich mir den kompletten Log über die Zwischenablage in Excel und nutze dann die Filterfunktionen dort. Ist ok und funktioniert, ist aber doch etwas umständlich. Was meint ihr? Wäre so ein Filter für andere auch interessant?

[mars]

+1, hatte bisher nur nicht den Mut die Liste noch weiter zu füllen.
Wobei ich eher eine whiteliste (ähnlich der Filterfunktion im ETS-Gruppenmonitor) gebrauchen könnte, um einzelne bzw. Gruppen von (i)KOs zu überwachen.

[gaert]

Ein Log ist ein Log und sollte daher alles protokollieren. Die Auswertung(!) eines Logs kann man ggf. mit entsprechenden Tools erledigen/filtern...

[jonofe]

Ein Log ist ein Log und sollte daher alles protokollieren. Die Auswertung(!) eines Logs kann man ggf. mit entsprechenden Tools erledigen/filtern...

Sehe ich genauso.

Ich nutze dazu fronttail, eine kleine Node.JS Applikation.

Dies erlaubt z.B. die Monitorlogs webbasiert live anzuschauen und direkt einen Filter anzuwenden:

Beispiel: Monitor Logs gefiltert nach physikalischer Adresse 0.1.40 (das ganze wird live aktualsiert, also kein Drücken des Refresh Buttons notwendig)

Screenshot from 2017-01-13 09-53-12.png

Falls es interessiert, man kann es wie folgt installieren:

curl -sL https://rpm.nodesource.com/setup | bash -
yum install -y nodejs npm
npm cache clean -f
npm install -g n
n stable
npm i frontail -g
frontail -p 9001 /usr/local/edomi/www/data/log/MONLOG*.log

Die letzte Zeile startet dann fronttail auf Port 9001 und berücksichtigt alle Monitor Logs. Wirklich angezeigt wird natürlich nur das aktuelle Monitorlog, aber da sich die Namen der Logs durch das verwendete Datum im Filenamen ändern, ist so immer das aktuelle Monitor Log dabei. Man muss den Aufruf natürlich täglich aktualisieren, sofern täglich ein Monitor Logfile dazukommt.

[mars]

Ok, ich ziehe mein "+1" zurück.
Wenn man nur einen beschränkten Horizont hat und z.B. fronttail nicht kennt, kommt man eben auf solche Ideen.

Aber noch einen Frage (zu Horizonterweiterung): Die Installation lt. vorgenanntem Code muss auf dem EDOMI-Server (Hardware oder VM) erfolgen? Sieht mir ja danach aus, aber besser mal gefragt.

[jonofe]

Ok, ich ziehe mein "+1" zurück.
Wenn man nur einen beschränkten Horizont hat und z.B. fronttail nicht kennt, kommt man eben auf solche Ideen.

Aber noch einen Frage (zu Horizonterweiterung): Die Installation lt. vorgenanntem Code muss auf dem EDOMI-Server (Hardware oder VM) erfolgen? Sieht mir ja danach aus, aber besser mal gefragt.

Ja grundsätzlich schon. Man könnte natürlich auch samba oder nfs auf dem EDOMI Server aktivieren, um so z.B. auch auf einem RPI oder einem anderen Linux Server Zugriff auf die Dateien zu haben. Auf dem EDOMI Server selbst ist es natürlich am einfachsten und sollte sofort funktionieren, wenn man obigen Skript ausgeführt hat.

[nno]

Ich nutze dazu fronttail, eine kleine Node.JS Applikation.

Danke für den Tip. Aber ich versuche meinem CentOS Installation so "sauber" wie möglich zu halten und ausser Edomi nichts weiter zu installieren.

Dass im Log alles enthalten sein soll sehe ich auch so, es geht mir nur darum bei der Anzeige der Log-Daten schneller einen Überblick zu bekommen, indem bestimmte Dinge ausgeblendet werden. Gibt es evtl. die Möglichkeit an die Log-Daten in einem anderen Format (z.B. CSV) ranzukommen um sie dann in einem anderen Tool leichter verabeiten zu können?

[jonofe]

Danke für den Tip. Aber ich versuche meinem CentOS Installation so "sauber" wie möglich zu halten und ausser Edomi nichts weiter zu installieren.

Dass im Log alles enthalten sein soll sehe ich auch so, es geht mir nur darum bei der Anzeige der Log-Daten schneller einen Überblick zu bekommen, indem bestimmte Dinge ausgeblendet werden. Gibt es evtl. die Möglichkeit an die Log-Daten in einem anderen Format (z.B. CSV) ranzukommen um sie dann in einem anderen Tool leichter verabeiten zu können?

Ist halt immer ein Abwägen zwischen Aufwand und Nutzen. Ich find die Log Live View extrem hilfreich, insbesondere solange meine EDOMI Instanz sich noch sehr schnell ändert und erweitert wird. Und da EDOMI sich sehr einfach auf ein neues "sauberen" System transferieren lässt, habe ich auch kein Problem damit.
Mein Linux Server, den ich für alle anderen Services verwende und auf dem ich auch sonst sehr viel teste, hat im Moment eine Uptime von 265 Tagen.

Aber ich kann die Sicht natürlich verstehen, das man auf EDOMI so wenig wie möglich installieren möchte.
Wie oben beschrieben kannst du die Logs ja auch auf einem anderen Rechner auf die gleiche Weise analysieren. Sie liegen ja im o.g. Verzeichnis alle im plaintext wenn das so konfiguriert ist. Und da sie auch im Webspace von EDOMI liegen, kannst du natürlich auch per HTTP drauf zugreifen. Log Analyse tools gibts ja wie Sand am Meer.

[mars]

vielen Dank jonofe für den Tipp mit fronttail - funktioniert bestens.
Aber ein Feature-Wunsch habe ich doch noch: Im Widget mit den Monitor-Log einen Filter für KOs (Ich hoffe, mich da richtig ausgedrückt zu haben ;-)

[ak68]

Hallo Janofe,

die Installation nach Deiner Anleitung war problemlos !

Wie kann ich jetzt Fronttail von einem Windows-Rechner aus starten ? "edomi-IP:9001" funktioniert leider nicht, auch eine Freuigabe von Port 9001 in Fritzbox+ Windows-Firewall bringt nichts ?

Danke im voraus
Andreas

[jonofe]

Hast du denn fronttail laufen lassen? Also z.B. in einer offenen shell...
Wenn du die shell schließt beendet sich fronttail.
Also zuerst eine shell öffnen, fronttail starten und dann im Browser auf deinem Windows PC mit dem entsprechenden Port öffnen.
Wenn da nirgends eine Firewall dazwischen ist, dann sollte das eigentlich funktionieren

[ak68]

Hast du denn fronttail laufen lassen? Also z.B. in einer offenen shell...
Wenn du die shell schließt beendet sich fronttail.
Also zuerst eine shell öffnen, fronttail starten und dann im Browser auf deinem Windows PC mit dem entsprechenden Port öffnen.
Wenn da nirgends eine Firewall dazwischen ist, dann sollte das eigentlich funktionieren

... eigentlich.

Ich habe fronttail in Putty laufen lassen, dann IP:9001 im Windows-Browser aufgerufen

-> Titelzeile erscheint mit korrektem Dateipfad, es erfolgt jedoch kein Abruf der Log-Datei (auch nicht nach dem Ausschalten der Firewall´s)

[Riffhai]

Hallo,

kann mir jemand erklären wie ich Frontail unter Ubuntu 16.04 installieren kann alle Versuche klappen nicht.

Gruss

[jonofe]

grundsätzlich ist die Installation ja weiter oben erklärt.

Was genau hast du versucht und was geht nicht?

Ich würde zunächst versuchen das yum install -y durch apt-get install zu ersetzen ubd dann mal schaun, ob es funktioniert.

[Riffhai]

installiert habe ich es irgendwie mit apt-get aber es startet nicht vielleicht doch nicht richtig installiert?