[wiregate] - √ - Absturz von Lighttpd

[alexbeer]

Hi,

heute ist der Lighty mit Fehler 500 abgestürzt.
Ein einfacher Restart via Webmin hat Abhilfe geschaffen.
Aus dem Log werde ich nicht so richtig schlau

2012-12-30 14:43:40: (mod_cgi.c.1006) fork failed: Cannot allocate memory
2012-12-30 14:43:40: (mod_cgi.c.747) pipe failed: Too many open files
2012-12-30 14:43:41: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:43:41: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:43:41: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:43:41: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:43:42: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:43:43: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:43:47: (mod_cgi.c.742) pipe failed: Too many open files
2012-12-30 14:43:59: (mod_cgi.c.1006) fork failed: Cannot allocate memory
2012-12-30 14:44:04: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:44:10: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:44:10: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:44:39: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 14:45:39: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 14:46:44: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 14:47:44: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 14:48:45: (response.c.544) file not found ... or so: Too many open files /rsslog.php ->
2012-12-30 14:48:46: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:48:51: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 14:48:57: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:00: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:03: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:04: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:04: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:10: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:16: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:22: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:28: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:31: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:31: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:31: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:31: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:31: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:31: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:49:54: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 14:50:49: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:50:55: (response.c.544) file not found ... or so: Too many open files /cgi-bin/rrdfetch ->
2012-12-30 14:50:59: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 14:51:59: (response.c.544) file not found ... or so: Too many open files /cgi-bin/r ->
2012-12-30 15:28:04: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu_svn/visu/ -> /var/www/visu_svn/visu/
2012-12-30 15:28:20: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu/ -> /var/www/visu/
2012-12-30 15:28:41: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu_svn/visu/ -> /var/www/visu_svn/visu/
2012-12-30 17:46:31: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu_svn/visu/ -> /var/www/visu_svn/visu/
2012-12-30 19:04:15: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu_svn/visu/ -> /var/www/visu_svn/visu/
2012-12-30 19:04:22: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu_svn/visu/ -> /var/www/visu_svn/visu/
2012-12-30 19:04:25: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu_svn/visu/ -> /var/www/visu_svn/visu/
2012-12-30 19:04:27: (mod_indexfile.c.180) file not found ... or so: Too many open files /visu_svn/visu/ -> /var/www/visu_svn/visu/
2012-12-30 19:04:30: (mod_indexfile.c.180) file not found ... or so: Too many open files / -> /var/www/
2012-12-30 19:05:13: (server.c.1475) server stopped by UID = 0 PID = 32584
2012-12-30 19:05:14: (log.c.75) server started

Kann ich da irgend etwas dran beheben, oder ist das so i.O.?

Danke Alex

[makki]

Das Problem steht im Klartext da: "Too many open files", bleibt die Frage wie wir dahin kommen..

PL32+? (da wurde das massiv hochgesetzt), wieviele RRD's / parallele Visus, evtl. welche Plugins? Irgendwas/wer lutscht da die FD's weg..

Makki

[alexbeer]

Hi,

• PL32 ist drauf,
• RRDs lasse ich auch nur für 2 GAs generierern
• Anzahl fd:
  

  # lsof | wc -l
  1450

  visu: nur die cv, aber auf 1 PC (in verschiedenen Browsern), 2 x Smartphone geöffnet
• Plugin: RSSLOG, EMX_UHR, eigene Versuche...

Auf was müsste ich denn achten, um der Ursache auf die Schliche zu kommen.

Hab mal das Wartungs Vpn zu wiregate560 geöffnet.
Hat aber definitiv Zeit bis nächstes Jahr...

[Chris M.]

Für die Freunde der Statistik:

Mein WG liefert bei 3 offenen CVs und einigen Plugins:

# lsof | wc -l
1435

Und mein Rechner hier ("etwas" andere Leistungsklasse als ein WG) mit Kubuntu:

$ lsof | wc -l
60012

[dombn]

puh ich komme schon auf 1406 (original wg) OHNE CV*
(* bisher leider noch keine Zeit für gehabt)

[alexbeer]

Dann scheint das ja im Rahmen zu liegen.Seltsamerweise war auch die Kommunikation mit. Dem eibd gestört. Via Visu konnte ich keine Ga mehr lesen/schreiben. Hab dann nach 176 Tagen mal wieder ein Robot durchgeführt.... Jetzt läuft es aber wieder.

[makki]

Naja, 1400 sind albern, default ist 65536 und 1024 pro prozess (jetzt 4096)
Also können wir das mal wegsortieren, war ja nur so ne Idee..
Wenn dann gehts um ein "Leck", das Demogate (ohne diese Einstellungen von PL32+!) läuft ja auch mit dutzenden Usern seit jeher durch.. Und das ist wirklich nichts anderes, als das was wir verkaufen, selbe Kiste für tausende Zugriffe inkl. der Hacker aus XXX..

Ich muss das jetzt fragen: ist das WG (ausser 1194/UDP) ins Internet durchgeschaltet?
Momentan ist jedenfalls nichts sichtbar..

Makki

[alexbeer]

Hi, nein nur die UDP Weiterleitung. Versuche so wenig Angriffsmöglichkeiten wie möglich anzubieten. Solltest du keine Idee mehr haben, dann werde ich das ganze im Auge behalten und bei Bedarf mich melden.

[alexbeer]

Hallo, habe gestern das Wiregate auf PL36 geupdatet.
Danach hat sich der lighttpd wieder verabschiedet.

# lsof | wc -l
1452

im log des lighty bin ich noch auf folgendes gestoßen:

2013-06-02 06:25:55: (server.c.1361) [note] graceful shutdown started
2013-06-02 06:25:55: (server.c.1475) server stopped by UID = 0 PID = 2399
2013-06-02 06:25:56: (log.c.75) server started
2013-06-02 17:28:34: (mod_cgi.c.1006) fork failed: Cannot allocate memory

anhand welcher Logs kannich das weiter eingrenzen?

[StefanW]

Hast Du nach der Installation des PL36 neu gebootet?

(sollte eigentlich nicht notwendig sein, allerdings wenn ich lese dass der Lighty Probleme hat mit Speicherallocation, dann könnte dies mal hilfreich sein).

lg

Stefan

[alexbeer]

- √ - Absturz von Lighttpd

Hallo Stefan,
Nein hatte ich nicht.
Nachdem ich den Lighty gestoppt und neu gestartet hatte, war auch alles wieder ok.