Fehler: EDOMI antwortet plötzlich nicht (VISU und ADMIN), Zugang per SSH und SFTP möglich

[woda]

Hallo Zusammen,
was soll ich checken vor ich EDOMI per Konsole neu starte.
Das letzte KNX Telegramm wurde heute morgen um 7:28:05 aufgezeichnet, seither ist EDOMI tot.

TOP bringt mir Das hier:

top - 17:45:25 up 22 days,  7:23,  1 user,  load average: 0.00, 0.07, 0.07
Tasks: 177 total,   1 running, 176 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.0%us,  1.6%sy,  0.0%ni, 97.4%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   3902840k total,  3761260k used,   141580k free,   139800k buffers
Swap:  3719164k total,     1280k used,  3717884k free,  2516972k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1960 mysql     20   0 2328m 143m 6220 S  5.3  3.8   4539:42 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-error=/var/log/log_mysql.err --pid-file=/var/run/mysqld/mysqld.pid -
 3093 root      20   0  319m  41m  18m S  0.0  1.1   0:25.03 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000304.php 1082
 8512 root      20   0  293m  26m  16m S  0.0  0.7  31:39.67 php /usr/local/edomi/main/proc/proc_logic.php
 8200 root      20   0  293m  25m  16m S  0.0  0.7   3:29.69 php /usr/local/edomi/main/proc/proc_main.php 14
 1712 root      20   0  234m  23m  15m S  0.0  0.6   2:27.03 /usr/sbin/httpd
 8641 root      20   0  291m  23m  16m S  0.0  0.6  19:39.35 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000195.php 3339
 8644 root      20   0  291m  23m  15m S  0.0  0.6  31:38.14 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000195.php 3340
 8510 root      20   0  291m  22m  15m S  0.0  0.6  42:07.06 php /usr/local/edomi/main/proc/proc_knx.php
 1057 root      20   0  290m  22m  15m S  0.3  0.6   4:36.82 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000410.php 1062
 8499 root      20   0  290m  22m  15m S  0.0  0.6   3:53.17 php /usr/local/edomi/main/proc/proc_sysinfo.php
 8541 root      20   0  290m  22m  15m S  0.0  0.6   1:46.07 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000200.php 832
 8706 root      20   0  290m  21m  15m S  1.3  0.6  13:32.86 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000303.php 91
 8821 root      20   0  289m  21m  15m S  0.0  0.6   0:01.00 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000196.php 3122
 8815 root      20   0  289m  21m  15m S  0.0  0.6   0:00.50 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000196.php 3025
 8673 root      20   0  290m  21m  15m S  1.3  0.6  13:34.07 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000303.php 1278
 8823 root      20   0  289m  21m  15m S  0.0  0.6   0:00.11 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000375.php 3179
 8834 root      20   0  289m  21m  15m S  0.0  0.6   0:00.73 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000196.php 3215
 8709 root      20   0  290m  21m  15m S  1.0  0.6  13:37.14 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000303.php 1096
 8562 root      20   0  290m  21m  15m S  0.0  0.6   0:00.19 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000660.php 1789
 8735 root      20   0  290m  21m  14m S  1.0  0.6  13:33.84 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000303.php 3002
 8817 root      20   0  289m  21m  15m S  0.0  0.6   0:00.99 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000196.php 3090
 8497 root      20   0  289m  21m  15m S  0.0  0.6   8:52.30 php /usr/local/edomi/main/proc/proc_queue.php
16668 root      20   0  290m  21m  15m S  0.0  0.6   0:02.02 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000300.php 920
 8838 root      20   0  289m  21m  15m S  0.0  0.6   0:00.11 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000375.php 3263
 8514 root      20   0  289m  21m  15m S  0.0  0.6   1:38.21 php /usr/local/edomi/main/proc/proc_phone.php
 8560 root      20   0  290m  20m  15m S  0.0  0.6   0:00.11 php /usr/local/edomi/www/data/liveproject/lbs/EXE19000646.php 1752
 8516 root      20   0  289m  20m  14m S  0.0  0.5  22:33.75 php /usr/local/edomi/main/proc/proc_visu.php

ERRLOG: leer

SYSLOG:

2017-09-14 18:31:54645973MAIN8200STARTOk2017-09-14 18:31:54817636EXEC8770Logs/Archive/Autobackups aufräumenOk2017-09-14 18:32:09766096EXEC9463EDOMI-Autoupdate: Update-Verfügbarkeit prüfenOk2017-09-15 00:00:00225625MAIN8200Aktuell: CPU 14.6% / RAM 29% / HDD 16% / LOAD 0.42 / PHP 25 / HTTP 3Ok2017-09-15 00:00:00226497MAIN8200Peaks : CPU 83.4% / RAM 30% / HDD 16% / LOAD 1.42 / PHP 30 / HTTP 3Ok2017-09-15 00:00:00463824EXEC24556Logs/Archive/Autobackups aufräumenOk2017-09-15 00:00:16572356EXEC25270Autobackup erstellen: 2017-09-15-000016.edomibackupOk2017-09-15 00:00:20381520EXEC25422EDOMI-Autoupdate: Update-Verfügbarkeit prüfenOk

UPDATE:
Vermutlich liegt es an noch einem übersehenen LBS mit "writeToTraceLog", da hab ich grad was gefunden.
Ein Neustart war nur mit hartem reboot möglich.

Gruß
Wolfgang

[wintermute]

Eventuell ein Update gemacht und jetzt blockt die Firewall Port 80?

[vento66]

Dann wären aber die KNX Telegramme im log zu sehen. Bei writeToTraceLog sollte aber wenigstens die Admin Console funktionieren. Hat die Kiste vielleicht einen Neustart hingelegt, und die KNX Verbindung war (noch) nicht verfügbar? Dann bleibt edomi mit diesen Symptomen vor dem Start hängen.

[woda]

Keine Updates gemacht.
Konnte keinen Neustart feststellen, USV hängt auch davor und wird überwacht. Die writeToTracelog Bausteine sind jetzt alle ausgetauscht. Das war jedenfalls meine heißeste Spur. Mal schaun. Danke jedenfalls für die Tipps.

[wintermute]

Geht Port 80 denn prinzipiell? Also wenn du ein "telnet edomi-ip 80" machst, passiert dann was?

[hx5]

Ich hab auch seit ein paar Wochen Probleme mit meinem Z83.
EDOMI hängt sich sporadisch etwa alle 3 Tage auf (war aber schon mit 1.51), im Browser bekomme ich nur noch den drehenden Kreis, putty per ssh verbindet sich zwar erstmal, bei Eingabe des Benutzernamens wird die Verbindung wieder geschlossen.
Winscp kommt via SFTP aber wunderbar auf den Rechner.
In den Logs wird nichts besonderes aufgezeichnet. Jetzt logge ich mal die Temperaturen und Auslastung vielleicht lässt sich da was auffälliges finden....

[woda]

Seit dem Reboot über die Konsole geht wieder Alles.
Telnet werde ich, falls es nochmal vorkommt testen.
Der Browser hing bei "Verbindung wird hergestellt".

php /usr/local/edomi/main/control.php shutdown oder restart blieben ohne Reaktion

[vento66]

Dann ist edomi sicher vor dem Start irgendwo hängen geblieben...

[woda]

Ich hab da jetzt Etwas in einem Log gefunden, passt von der Zeit perfekt.
unter /var/log/messages:

Sep 10 03:32:02 edomi rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="1355" x-info="http://www.rsyslog.com"] rsyslogd was HUPed
Sep 15 00:49:49 edomi kernel: mce: [Hardware Error]: Machine check events logged
Sep 15 07:28:11 edomi kernel: BUG: unable to handle kernel paging request at ffffbd183771cf7e
Sep 15 07:28:11 edomi kernel: IP: filp_close+0x19/0x90
Sep 15 07:28:11 edomi kernel: PGD 0
Sep 15 07:28:11 edomi kernel: P4D 0
Sep 15 07:28:11 edomi kernel:
Sep 15 07:28:11 edomi kernel: Oops: 0000 [#1] SMP
Sep 15 07:28:11 edomi kernel: Modules linked in: ip6t_REJECT nf_reject_ipv6 nf_conntrack_ipv6 nf_defrag_ipv6 xt_state nf_conntrack libcrc32c ip6table_filter ip6_tables ppdev nxp_nci_i2c nxp_nci nci nfc i2c_hid rfkill_gpio hci_uart btintel btqca btbcm bluetooth ecdh_generic rfkill parport_pc parport dw_dmac i2c_designware_platform i2c_designware_core dwc3 udc_core spi_pxa2xx_platform 8250_dw pwm_lpss_platform pwm_lpss sdhci_acpi sdhci mmc_core iTCO_wdt iTCO_vendor_support acpi_pad pcspkr i2c_i801 lpc_ich r8169 mii xhci_pci xhci_hcd sg ext4 mbcache jbd2 sd_mod ahci libahci i915 video dm_mirror dm_region_hash dm_log dm_mod dax
Sep 15 07:28:11 edomi kernel: CPU: 2 PID: 8517 Comm: mysqld Not tainted 4.12.4-1.el6.elrepo.x86_64 #1
Sep 15 07:28:11 edomi kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./J3160DC-ITX, BIOS P1.30 03/31/2016
Sep 15 07:28:11 edomi kernel: task: ffff880177ed64c0 task.stack: ffffc90001d60000
Sep 15 07:28:11 edomi kernel: RIP: 0010:filp_close+0x19/0x90
Sep 15 07:28:11 edomi kernel: RSP: 0018:ffffc90001d63e68 EFLAGS: 00010282
Sep 15 07:28:11 edomi kernel: RAX: ffff880178f148c0 RBX: ffff8801755826c0 RCX: ffff880178f14880
Sep 15 07:28:11 edomi kernel: RDX: 0000000000000000 RSI: ffff8801755826c0 RDI: ffffbd183771cf46
Sep 15 07:28:11 edomi kernel: RBP: ffffc90001d63e98 R08: 0000000000d51860 R09: 0000000000002145
Sep 15 07:28:11 edomi kernel: R10: 0000000000000003 R11: 0000000000000000 R12: 0000000000000013
Sep 15 07:28:11 edomi kernel: R13: 0000000000000000 R14: 0000000000d51620 R15: 0000000000000070
Sep 15 07:28:11 edomi kernel: FS:  00007f67e5562700(0000) GS:ffff88017fd00000(0000) knlGS:0000000000000000
Sep 15 07:28:11 edomi kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Sep 15 07:28:11 edomi kernel: CR2: ffffbd183771cf7e CR3: 000000017611d000 CR4: 00000000001006e0
Sep 15 07:28:11 edomi kernel: Call Trace:
Sep 15 07:28:11 edomi kernel: __close_fd+0xac/0xd0
Sep 15 07:28:11 edomi kernel: ? exit_to_usermode_loop+0x58/0xd0
Sep 15 07:28:11 edomi kernel: SyS_close+0x21/0x50
Sep 15 07:28:11 edomi kernel: do_syscall_64+0x5c/0xe0
Sep 15 07:28:11 edomi kernel: ? do_page_fault+0x2c/0x40
Sep 15 07:28:11 edomi kernel: entry_SYSCALL64_slow_path+0x25/0x25
Sep 15 07:28:11 edomi kernel: RIP: 0033:0x7f67e9d2a88d
Sep 15 07:28:11 edomi kernel: RSP: 002b:00007f67e5561100 EFLAGS: 00000293 ORIG_RAX: 0000000000000003
Sep 15 07:28:11 edomi kernel: RAX: ffffffffffffffda RBX: 00007f677438b310 RCX: 00007f67e9d2a88d
Sep 15 07:28:11 edomi kernel: RDX: 0000000000000001 RSI: 0000000000000003 RDI: 0000000000000013
Sep 15 07:28:11 edomi kernel: RBP: 0000000000000013 R08: 0000000000d51860 R09: 0000000000002145
Sep 15 07:28:11 edomi kernel: R10: 00000000077f00e7 R11: 0000000000000293 R12: 0000000000d51860
Sep 15 07:28:11 edomi kernel: R13: 0000000000000000 R14: 0000000000d51620 R15: 0000000000000070
Sep 15 07:28:11 edomi kernel: Code: 48 c7 c0 fc ff ff ff c9 c3 66 0f 1f 84 00 00 00 00 00 55 48 89 e5 48 83 ec 30 48 89 5d e8 4c 89 65 f0 4c 89 6d f8 0f 1f 44 00 00 <48> 8b 47 38 48 89 fb 49 89 f4 48 85 c0 48 89 45 d0 74 4a 48 8b
Sep 15 07:28:11 edomi kernel: RIP: filp_close+0x19/0x90 RSP: ffffc90001d63e68
Sep 15 07:28:11 edomi kernel: CR2: ffffbd183771cf7e
Sep 15 07:28:11 edomi kernel: ---[ end trace 9c1efaf30eca43c2 ]---

Ich hab jetzt mcelog installiert
Evtl ist der "4.12.4-1.el6.elrepo.x86_64" instabil, wobei Das schon lange so läuft?

Update bin jetzt auf:
centos: centos-release-6-9.el6.12.3.x86_64
kernel: 2.6.32-696.10.2.el6.x86_64
sollte alt aber stabil sein.
Entweder oder.....

[wintermute]

Das ist ein Speicherfehler... entweder Speicher voll oder Speicher kaputt - was sich sowohl auf Hauptspeicher als auch auf Swap-Speicher beziehen kann, in letzterem Fall muesstest Du aber noch nen SATA-Fehler im Kernel-Log sehen. Kann auch nen temporaerer Fehler sein, die Wahrscheinlichkeit fuer sowas ist groesser wenn kein ECC-Speicher verbaut ist.

[woda]

Ah, danke für die Analyse. Das Kernel Log wurde wohl beim Update überschrieben, da ist nichts Altes enthalten.
Es ist non-ECC RAM verbaut.