Wiregate down - was war da denn los

[makki]

Die Gemeinsamkeit ist der HP-Switch und das meine ich nicht gehässig: wir hatten das Thema schon mind. 3x das da auf einmal z.B. kein NTP mehr ging (was zwar null Sinn macht, aber halt so ist..)

Das andere, ehrlichgesagt unwahrscheinlichere, ist das man das WG mit massivem DoS (70 MBit bei 64byte-Paketen über 60min.) abschiessen kann.. Das ist nun schon länger bekannt und ich prüfe gerade die Optionen -
aber das muss man auch relativieren: Sowas ist eher Sabotage, das überlebt auch fast kein anderes Gerät..

Makki

[Jockel]

Die Gemeinsamkeit ist der HP-Switch und das meine ich nicht gehässig: wir hatten das Thema schon mind. 3x das da auf einmal z.B. kein NTP mehr ging (was zwar null Sinn macht, aber halt so ist..)

Mit den Procurves hatte ich zwar in den letzten 3 Jahren noch kein einziges Problem, aber es gibt ja nichts was es nicht gibt...

Ausfälle von NTP (macht bei mir den Lancom gegen das Internet und ist gleichzeitig Server für die meisten lokalen Rechner) hab ich auch noch nicht beobachtet. Das Wiregate fragt die NTP-Server allerdings selbstständig an, hab ich wohl damals vergessen auf den Lancom umzustellen.

Testweise könnte ich das Wiregate mal an den internen Switch des Lancoms hängen, der steht gleich darüber...

Das andere, ehrlichgesagt unwahrscheinlichere, ist das man das WG mit massivem DoS (70 MBit bei 64byte-Paketen über 60min.) abschiessen kann.. Das ist nun schon länger bekannt und ich prüfe gerade die Optionen

Ich schätze mal, dass kann ich bei mir ausschließen, vom Internet aus gibt es keinen Zugriff darauf und das der MH durchgedreht ist kann ich zumindest an den Logs nicht erkennen.

[JNK]

Das andere, ehrlichgesagt unwahrscheinlichere, ist das man das WG mit massivem DoS (70 MBit bei 64byte-Paketen über 60min.) abschiessen kann.. Das ist nun schon länger bekannt und ich prüfe gerade die Optionen -
aber das muss man auch relativieren: Sowas ist eher Sabotage, das überlebt auch fast kein anderes Gerät..

Vielleicht nicht völlig damit verbnunden und ich habs nicht nachgerechnet, aber ich hatte letztens ein Problem, dass das WG erst unendlich lahmte und dann nicht mehr erreichbar war, nachdem ich aus Versehen die Refresh-Zeit des rsslog-Plugins in der Cometvisu auf 10s gestellt hatte. Zugriff von zwei Handys, dem Visu-Rechner und meiner Arbeitsmaschine. Es wurde erst immer langsamer, dann ging irgendwann garnix mehr. Allerdings passierte das erst nach einigen Stunden (so ca. 24h-30h würde ich sagen). Als es lahmte und ich noch gucken konnte, hat mir top mehrere php-Zombies angezeigt, ob Ursache oder Wirkung weiss ich natürlich nicht. Seit ich die Refresh-Zeit wieder auf 300s gestellt habe, läuft alles am Schnürchen.

Switch bei mir ein Cisco 2950, also kein HP.

Gruss,

der Jan

[Jockel]

Für die Statistik: Es war wieder so weit, gleiche Sympthome wie damals. Um den Hausfrieden nicht zu gefährden musste ich leider auf eine weitere Diagnose verzichten...

[JNK]

Hast Du ein Backup auf ein Netzlaufwerk eingerichtet? Ist das ganz sicher verfügbar?

Gruß,

der Jan

[makki]

Das Backup hat bei "alle Module" (ist aber eh überflüssig!) einen Fehler/Memleak, ich weiss nur noch nicht genau wo bzw. unter welchen Umständen..

Also das mal rausnehmen (nur wiregate geht definitiv solange man keine 2GB in den RRDs liegen hat oder so)

Makki

[Jockel]

Ja, Backup hab ich aktiviert, aber nur ausgewählte Module + zusätzliche Verzeichnisse. Zumindest steht der Absturz auch in keinem zeitlichen Zusammenhang, das Backup läuft nachts um 1:25 Uhr, ausgestiegen ist das Wiregate aber erst am späten Nachmittag. Das letzte Backup war auch erfolgreich.

Ich werde es jetzt trotzdem mal deaktivieren, aber es wird wohl schwierig das Problem zu reproduzieren, das WG lief ja wieder über 4 Monate ohne Probleme!

[makki]

@Jockel: ich glaube du hast den neuen Kernel noch nicht, (deswegen gibts im nächsten Update, PL34, ein rudimentäres Logging)
-> WG-Nummer, Wartungs-VPN an, rebooten darfste/musste selber.. Das wär einen Versuch Wert auch wenn das Problem (dummerweise) nur alle paar Monate und damit sehr schwer greifbar auftritt..

Makki

P.S.: der "alte" läuft bei hunderten - über Jahre! - stabil, also bitte kein Grund zur allgemeinen Panik.. Das ist IMHO ein eher stranger Ausnahmefall, den wir natürlich beheben wollen aber..
Frage am Rande, vorab: das WG ist nicht zufällig 1:1 ungeschützt ins Inet durchgeschaltet?
Weil bei den Kandidaten tritt das immer mal wieder gerne gebüdndelt auf, das soll man nicht - und wir haben gerade wieder so ein Bündel..

[swiss]

Sehr interessant...

Ich habe ja auch immer mal wieder Probleme mit einem der beiden WG's. Das dieses WG steckt zufälliger weise auch direkt an einem HP Switch. Könnte es wirklich sein, dass man das Problem damit beheben könnte, wenn man das WG über einen anderen Switch anschliessen würde?

[makki]

Patrik, ich glaube durchaus das wir evtl. ein "Packet-of-death" haben, nur habe ich leider keinen blassen Schimmer wie das assieht..

Nur zur Klarstellung: man kann so gut wie jede Appliance aus dem LAN "abknallen" wenn man es drauf anlegt!

Die Entscheidene Frage ist: ins wilde weite Internet blind durchgeschaltet?

Makki

[swiss]

Nö. Das WG ist aus dem Internet nur über OpenVPN zu erreichen. Interessant ist, dass es nur bei einem von 2 auftritt. Allerdings habe ich auf dem zweiten dass nach wievor 100% Uptime hat noch nie ein Update gemacht. Ich weiss ja nicht ob sich da irgend wo etwas geändert hat, was sich mit meiner Netzwerkinstallation beisst...

EDIT: ...Nur so ein Gedanke... Das WG dass problem macht ist über die Ports des Openvpn aus demInternet erreichbar. Das Zweite, dass keine Probleme macht hat überhaubt keine Portweiterleitung im Router. Könnte man das Problem also eventuell beheben, wenn man die Schotten dicht macht? Aber wiso sollte jemand über ein Jahr ca. alle 14 Tage das WG angreiffen?

[StefanW]

Aber wiso sollte jemand über ein Jahr ca. alle 14 Tage das WG angreiffen?

Weil es mindestens eine Million Idioten gibt, die das komplette Internet nach angreifbaren Maschinen abscannen. Die suchen nicht nach Dir oder nach dem WG sondern nur nach offenen Ports und angreifbaren Applikationen dahinter.

Ziel ist meistens, Kontrolle über diese Maschinen zu gelangen um darüber SPAM auszuliefern bzw. Bandbreite für DDOS-Attacken wegen Erpressungsversuchen nutzbar zu halten.

Es gibt ca. 10 - 15.000 solcher Angriffsversuche pro öffentlicher IP jeden Tag. Mindestens.

lg

Stefan

[swiss]

Hmm.. Ok da is bestimmt etwas dran. Aber es dürfte doch nicht sein, dass dadurch das WG Probleme bekommt. Jedes gerät, dass z.B. einen VPN Dienst zur verfügungstellt ist ja von aussen erreichbar. Also müssten die Geräte ja so abgesichert sein, dass die nicht dauernd in die Knie gehen.

Da könnte ja kein Gerät dass mit dem Internet verbunden ist zuverlässig arbeiten bzw. wären dann funktionen wie der OpenVPN Server total unbraubar.

[Jockel]

@Jockel: ich glaube du hast den neuen Kernel noch nicht, (deswegen gibts im nächsten Update, PL34, ein rudimentäres Logging)
-> WG-Nummer, Wartungs-VPN an, rebooten darfste/musste selber.. Das wär einen Versuch Wert auch wenn das Problem (dummerweise) nur alle paar Monate und damit sehr schwer greifbar auftritt..

Stimmt, ich habe noch den alten Kernel drauf! Nach Weihnachten mache ich das VPN auf und gebe Dir dann Bescheid.

Frage am Rande, vorab: das WG ist nicht zufällig 1:1 ungeschützt ins Inet durchgeschaltet?

Nein, dass Wiregate ist überhaupt nicht aus dem Internet zu erreichen, nicht mal über das Weiterleiten einzelner Ports!

[makki]

@Patrik: Das OpenVPN (1194/UDP) ist nach bestem wissen und gewissen "dicht" und absolut Vollgasfest, darf also (als einziges!) weitergeleitet werden.

Es kann natürlich auch etwas im LAN sein, das einfach noch nicht identifiziert wurde; Zwei Ansätze:
- Was läuft dort so (ausser wirklich "üblicher" Geräte wie Fritz, HP-Switch, ...)
- Neuer Kernel druff und mal sehen (ich mach das nach wie vor lieber manuell, weil es 99% nicht betrifft und das Risiko bei einem automatischen Update IMHO grösser ist..)

Makki