[callidomus] Neustart - einiges fehlt.

[Steven123]

Hey,

gestern ist bei uns kurz der FI rausgeflogen weswegen mein Callidomus Server neugestartet werden mußte...

Mir ist das am Anfang schon mal aufgefallen aber gestern war es eindeutig - es fehlen nach dem Neustart Sachen:

Mein eingetragene Logik fehlt (habs erst gemerkt als Abends das Licht nicht mehr anging)
Meine Webcams waren wieder weg und ein alter "test" Eintrag war da.

Ich glaube auch das sich Items bzw. ein paar Schalter in der Visu wieder auf "alte" Werte geändert habe.

Das mal der Strom ausfällt kann ja passieren. Da ist es doof wenn die Arbeit der letzten Tage futsch ist...

Gruß Steven

[callidomus]

Hallo Steven,

sicher mit der Arbeit der letzten Tage. Eigentlich wird 45 Minuten nach der letzten Änderung auf die Platte geschrieben.

Bis bald

Marcus

[Steven123]

Ja sicher. Die Webcam Geschichte hab ich Screenshot am 16.05.2016, 21:43 gemacht - heute steht nur "test" da - das war direkt nach dem du das Text Widget eingeführt hast mein erste Verwendung...

[heckmannju]

Hi Steven,

Ich hatte so was ähnliches das beim Neustart irgent ein Service beim runterfahren hing. Nach einiger Zeit hat wohl ein Timeout zugeschlagen und es ging weiter. Danach hatte ich auch ca. 1 Stunde verloren. Ich glaube das war der Zustand als ich auf Backup gedrückt habe wieder da.

VG
Jürgen

[Steven123]

Hm also es lief ja ein "paar" Tage... Es gehen jetzt ein paar Sachen nicht mehr die ich am Sonntag/Montag gemacht hatte... Sieht so aus als ob er diese Änderungen eben nicht "auf die Festplatte" geschrieben hatte und nach dem Zwangs-Neustart wieder einen alten Datenbestand anzeigt..

Gruß Steven

[Steven123]

Toll meine py Datei für die Logik ist auch weg...

[mumpf]

Eigentlich wird 45 Minuten nach der letzten Änderung auf die Platte geschrieben.

Hi Marcus,

wenn ich mir so meine Arbeitsweise betrachte, dann ändere ich was (wiederholtes sichern) - sagen wir mal 1 Stunde lang, dann wird das getestet - sagen wir mal 10-20 Minuten, dann wird wieder korrigiert, wieder getestet, iterativ, bis es klappt. Sicherlich roundtrips unter 45 Minuten. Nehmen wir an, ich mache das mehrere Stunden, immer unter 45 Minuten ein Roundtrip, dann verliere ich beim Systemabsturz alles, da jedes Änderungsintervall kleiner 45 Minuten war?

Sorry, aber diese Sicherungsstrategie kann ich nicht verstehen.

Magst Du mal erklären, wie man auf so etwas kommt? Oder nutzt Du Sicherheitsmechanismen der Datenbank, so dass ein Absturz nicht macht (oder nichts machen sollte - vielleicht ist da ja nur ein Bug drin). Ich bin ehrlich interessiert, wie Du uns bei Deiner Sicherungsstrategie vor Datenverlust beschützen willst.

Gruß, Waldemar

[callidomus]

Hallo Steven,

Toll meine py Datei für die Logik ist auch weg...

das tut mir Leid. Lag diese in /data/callidomus/local/logics/?

Ich sehe mir das die Tag noch einmal genauer an. Konntest Du die Arbeit rekonstruieren?
Sehe mal unter /data/callidomus/backup/ nach, ob dort ein paar Dateien mit ein zeitnahem (vor dem FI) Datum liegen.
Kopiere die interessanten Dateien und melde dich noch mal.

Bis bald

Marcus

[callidomus]

Hallo Waldemar,

jede Configänderung triggert einen Treppenlichtautomanten der nach 45 Minuten die Datenbank dumpt. Wenn der Systemabsturz innerhalb der 45 Minuten erfolgt, sind somit die Änderungen nicht gesichert. Diese Dumps werden unter /data/callidomus/backup/ abgelegt.
Dort liegen in der Regel auch mehrere Stände.
(Einfach die komplette Datenbank sollte man im laufenden Betrieb nicht einfach kopieren, das kann schiefgehen. Deswegen der Dump).
Diese Dumps können dann zur Rekonstruktion verwendet werden.

Ich habe da eine Idee...

Bis bald

Marcus

[heckmannju]

Mit oder ohne nach triggern bei weiteren config Änderungen?

[mumpf]

Hi Marcus,

bist Du wirklich sicher, dass das das richtige Verfahren ist? Ich habe schon mit 5 Minuten Verzögerung ein Problem. Wenn ich irgendwo "Sichern" sage und diese Funktion ausgeführt ist, will ich sicher sein, dass das dann auch gesichert ist...
Wenn man sich heutige UIs anschaut (vor allem im Mobile-Umfeld), wird häufig der Zustand nach jeder Eingabe bzw. jedem Seitenwechsel automatisch gesichert und man hat gar keinen Sichern-Button mehr. Die Daten sind immer "sicher".
Das was Du machst (zumindest soweit ich das verstehe) ist anders: Es wird irgendwann gesichert, hoffentlich nach 45 Minuten, und bis dahin darf dem System nichts passieren. Das halte ich für falsch. Auf mich wirkt das unzuverlässig.
Vielleicht irre ich mich, ich habe callidomus noch nicht gekauft und nur gelegentlich bei Jürgen über die Schulter geschaut. Aber ich habe kein so richtig gutes Gefühl dabei.

Gruß, Waldemar

P.S.: Während ich diesen Text getippt habe, erschien ungefähr 10 mal das Tooltip "Auto Speichern", gefühlt jede 30-60 Sek. Gibt mir die Sicherheit, dass meine Arbeit nicht verloren ist, falls was passiert. 45 Minuten sich echt zu lang, und falls es wirklich 45 Minuten nach der letzten Änderung sind, dann geht das gar nicht meiner Meinung nach!

[callidomus]

Hallo Waldemar,

die Daten werden ja prinzipiell sofort gesichert. Wenn Du den Stecker vor 45 Minuten ziehst kann es aber sein das Daten weg sind, da von diese noch nicht auf die Festplatte übertragen wurden.
Der Vergleich sowohl zum mobilen Bereich als auch zum Forum hinken stark.
Im mobilen Bereich verfügen die System über einen Akku und können so das System kontrolliert herunterfahren. Dort kann man keinen Stecker ziehen, FI auslösen oder Stromausfall haben.
Der Forumsserver sichert die Daten, ebenso wie ich, sofort in der Datenbank. Spannend wird es wenn hier der Strom ausfällt. Dann können die Daten seit dem letzten Backup verloren sein. Im Fehlerfall kümmert sich Alfred dann um die Wiederherstellung.

Das wichtigste für mich ist die Stabilität/Verfügbarkeit. Das System muss ein Stromweg-Event vertragen. Ich denke das sind wir uns einig.
Als zweites müssen die Daten des Benutzers gesichert werden.

Aber wie gesagt ich habe eine Idee wie ich das Sichern optimieren kann.

Bis bald

Marcus

[heckmannju]

Wenn ich auf die 3 Backup Knöpfe drücke bin ich auf der sicheren Seite?

[mumpf]

Hallo Marcus,

Im mobilen Bereich verfügen die System über einen Akku und können so das System kontrolliert herunterfahren. Dort kann man keinen Stecker ziehen, FI auslösen oder Stromausfall haben.

Doch, ich kann den Akku rausnehmen (ich weiß, bei einem Apple geht das nicht, aber das ist nur ein Nischen-Produkt ). Ich wollte mit dem Vergleich eigentlich darauf hinaus, dass moderne UIs immer mehr dazu übergehen, ganz auf eine Aktion "Sichern" zu verzichten und quasi automatisch beim Seitenwechsel sichern. Mir ist klar, dass das von der Komplexität der Anwendung abhängt, von der Konsistenz der Eingaben etc... Mir ging es bei dem Vergleich eher darum, herauszustellen, dass man heutzutage immer öfter auch ohne explizit zu sichern keine Eingaben verliert, Dein Vorgehen (vor Deiner letzten Erklärung) für mich so aussah, als ob ich trotz explizitem "Sichern" trotzdem die Eingaben verlieren kann. Deswegen hatte ich das Verfahren angezweifelt.

Der Forumsserver sichert die Daten, ebenso wie ich, sofort in der Datenbank. Spannend wird es wenn hier der Strom ausfällt. Dann können die Daten seit dem letzten Backup verloren sein. Im Fehlerfall kümmert sich Alfred dann um die Wiederherstellung.

So wie ich Datenbanken kenne, ist das Speicherabbild der DB mit der Platte synchron bis zur letzten abgeschlossenen Transaktion. Alle Änderungen seit der letzten abgeschlossenen Transaktion liegen im Speicher, aber auch auf Platte - nur dort in einem Journalartigen File, das für Recovery-Zwecke verwendet werden kann. Bei einem DB-Neustart wird dann im Journal-File nachgeschaut, ob dort noch Daten stehen, die wieder eingespielt werden sollten. Je nachdem, wie man die Transaktionen und deren Dauer schneidet, sorgt die DB automatisch für ein (fast) vollständiges Recovery.
Das meinte ich mit

Oder nutzt Du Sicherheitsmechanismen der Datenbank, so dass ein Absturz nicht macht

in meinem ersten Beitrag. Ich glaube nicht, das Alfred bei einem Stromausfall viel mit dem Recovery zu tun hat (außer, die DB ist so eingestellt, dass sie nur ein manuelles Recovery zulässt). Hier dürfte jeder Auto-Save eine Transaktion sein und damit geht fast nichts verloren.

Das wichtigste für mich ist die Stabilität/Verfügbarkeit. Das System muss ein Stromweg-Event vertragen. Ich denke das sind wir uns einig.

Ja, da sind wir uns zu 100% einig.

Als zweites müssen die Daten des Benutzers gesichert werden.

Hier aber nicht ganz - ich meine, dieser Punkt sollte gleichrangig zu vorherigen sein und nicht nachrangig.

Aber wie gesagt ich habe eine Idee wie ich das Sichern optimieren kann.

Das freut mich sehr, ich bin auf Deine Lösung gespannt und werde das Thema jetzt auch ruhen lassen.

Gruß, Waldemar

[hotzen]

Kann man nicht einfach bei Config-Aenderungen einen DB-Flush machen?
Im laufenden Betrieb moeglichst lange in-memory bleiben und die storage schonen macht ja Sinn aber davon kann man doch abweichen beim Setup?

Und auch 5 Minuten in-memory wuerd doch reichen, hast du das mal profiled? Alle 5 Minuten I/O vs. Staendig ist schon ein riiiiesiger Unterschied, 45 Minuten sind ja Aeonen dagegen...