Neues Database Plugin

[danny]

Hallo Zusammen,

wo kommen diese Meldungen her. Sind die normal?
Wie kann ich rausfinden warum die kommen?
Bei mir läuft alles auf einer Synology im Docker. In Version 1.7 hatte ich alles in die MariaDB geschrieben die auf der Synology lief.
Mit Version 1.8.1 bin ich wieder auf SQLite3 zurück und hab immer wieder diese Warnings.

2021-02-02  00:04:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  00:04:26 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  00:04:26 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  00:04:26 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  00:05:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  00:06:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  01:04:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  01:04:26 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  01:04:26 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  01:04:27 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  02:04:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  02:19:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  02:49:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  03:02:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  03:03:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  04:04:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  04:04:27 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  04:04:27 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  04:04:27 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  05:04:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  05:58:20 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  05:58:20 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  05:58:26 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  05:59:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  06:04:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  07:04:03 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.

database:
    plugin_name: database
    driver: sqlite3
    connect:
    - database:./var/db/smarthomeng.db
    - "check_same_thread:0"
    precision: 1
    count_logentries: true

Unbenannt.png


Gruß Danny

2021-02-02  23:04:08 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 161 AND time = 1612303307761;: []
2021-02-02  23:04:08 DEBUG    plugins.database    Database: Fetch INSERT INTO log(item_id, time, val_str, val_num, val_bool, duration, changed) VALUES (161,1612303307761,None,1008.5,1,None,1612303448557);: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:08 DEBUG    plugins.database    Database: Fetch UPDATE item SET time = 1612303307761, val_str = None, val_num = 1008.5, val_bool = 1, changed = 1612303448557 WHERE id = 161;: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:09 DEBUG    plugins.mqtt        _on_mqtt_message: Received topic 'synology/0/DiskStationManager/info/cpu load', payload '26 (type <class 'str'>)', QoS '1', retain '0'
2021-02-02  23:04:09 INFO     plugins.mqtt        _on_mqtt_message: Received topic 'synology/0/DiskStationManager/info/cpu load', payload '26' (type num), QoS '1', retain '0' for item 'it.nas.cpu_load'
2021-02-02  23:04:09 DEBUG    plugins.database    Database: Fetch SELECT id, name, time, val_str, val_num, val_bool, changed from item WHERE name = wetter.darksky.hourly.hour10.windSpeed;: (162, 'wetter.darksky.hourly.hour10.windSpeed', 1612299707624, None, 2.36, 1, 1612299853497)
2021-02-02  23:04:09 DEBUG    plugins.database    Dumping wetter.darksky.hourly.hour10.windSpeed/162 with 2 values
2021-02-02  23:04:09 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 162 AND time = 1612299707624;: [(1612299707624, 162, None, None, 2.36, 1, 1612299853497)]
2021-02-02  23:04:09 DEBUG    plugins.database    Database: Fetch UPDATE log SET duration = 3600138, val_str = None, val_num = 2.36, val_bool = 1, changed = 1612303449332 WHERE item_id = 162 AND time = 1612299707624;: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:09 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 162 AND time = 1612303307762;: []
2021-02-02  23:04:09 DEBUG    plugins.database    Database: Fetch INSERT INTO log(item_id, time, val_str, val_num, val_bool, duration, changed) VALUES (162,1612303307762,None,2.34,1,None,1612303449332);: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:09 DEBUG    plugins.database    Database: Fetch UPDATE item SET time = 1612303307762, val_str = None, val_num = 2.34, val_bool = 1, changed = 1612303449332 WHERE id = 162;: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch SELECT id, name, time, val_str, val_num, val_bool, changed from item WHERE name = wetter.darksky.hourly.hour10.windGust;: (163, 'wetter.darksky.hourly.hour10.windGust', 1612299707624, None, 3.12, 1, 1612299854109)
2021-02-02  23:04:10 DEBUG    plugins.database    Dumping wetter.darksky.hourly.hour10.windGust/163 with 2 values
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 163 AND time = 1612299707624;: [(1612299707624, 163, None, None, 3.12, 1, 1612299854109)]
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch UPDATE log SET duration = 3600138, val_str = None, val_num = 3.12, val_bool = 1, changed = 1612303450004 WHERE item_id = 163 AND time = 1612299707624;: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 163 AND time = 1612303307762;: []
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch INSERT INTO log(item_id, time, val_str, val_num, val_bool, duration, changed) VALUES (163,1612303307762,None,3.97,1,None,1612303450004);: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch UPDATE item SET time = 1612303307762, val_str = None, val_num = 3.97, val_bool = 1, changed = 1612303450004 WHERE id = 163;: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:10 WARNING  plugins.database    Skipping dump, since an other database operation running! Data is buffered and dumped later.
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch SELECT id, name, time, val_str, val_num, val_bool, changed from item WHERE name = wetter.darksky.hourly.hour10.windBearing;: (164, 'wetter.darksky.hourly.hour10.windBearing', 1612299707625, None, 180.0, 1, 1612299854540)
2021-02-02  23:04:10 DEBUG    plugins.database    Dumping wetter.darksky.hourly.hour10.windBearing/164 with 2 values
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 164 AND time = 1612299707625;: [(1612299707625, 164, None, None, 180.0, 1, 1612299854540)]
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch UPDATE log SET duration = 3600137, val_str = None, val_num = 180.0, val_bool = 1, changed = 1612303450553 WHERE item_id = 164 AND time = 1612299707625;: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 164 AND time = 1612303307762;: []
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch INSERT INTO log(item_id, time, val_str, val_num, val_bool, duration, changed) VALUES (164,1612303307762,None,172.0,1,None,1612303450553);: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:10 DEBUG    plugins.database    Database: Fetch UPDATE item SET time = 1612303307762, val_str = None, val_num = 172.0, val_bool = 1, changed = 1612303450553 WHERE id = 164;: <sqlite3.Cursor object at 0x7f9a068a57a0>
2021-02-02  23:04:11 DEBUG    plugins.database    Database: Fetch SELECT id, name, time, val_str, val_num, val_bool, changed from item WHERE name = wetter.darksky.hourly.hour10.ozone;: (167, 'wetter.darksky.hourly.hour10.ozone', 1612299707625, None, 321.4, 1, 1612299854990)
2021-02-02  23:04:11 DEBUG    plugins.database    Dumping wetter.darksky.hourly.hour10.ozone/167 with 2 values
2021-02-02  23:04:11 DEBUG    plugins.database    Database: Fetch SELECT time, item_id, duration, val_str, val_num, val_bool, changed FROM log WHERE item_id = 167 AND time = 1612299707625;: [(1612299707625, 167, None, None, 321.4, 1, 1612299854990)]

[Maexle]

nicht eine Priorisierung der Plugins beim Start vornehmen sollte

möglich, dass dies funktionieren könnte --> wie das allerdings programmiert habe ich als DAU keine Ahnung

Neustart ja ein gänzlich falscher Wert

Gebe ich Dir vollkommen recht --> in meiner Anwendung mit der Raumtemp. ist der Sprung auf Null natürlich massiver --> da schreibt er lieber nochmals 22,3° obwohl es vielleicht 23° C hat.

[Onkelandy]

Soweit ich mich erinnere, schreibt das Datenbankplugin beim Start immer einen Wert in die DB, egal wie dieser aussieht. Insofern frage ich mich, ob man hier nicht eine Priorisierung der Plugins beim Start vornehmen sollte. So, dass zuerst Plugins wie knx, gpio, etc. geladen werden und am Schluss database?
Denn angenommen, der Wert hat sich seit Neustart (massiv) geändert, wird beim Neustart ja ein gänzlich falscher Wert geschrieben.

[Maexle]

Euch Dreien Vielen Dank

Wie es scheint ist die Lösung gefunden!

in der Item-Yaml, das

database: yes

durch ein

database: init

ersetzten

[aschwith]

Die Lösung ist

database: init

Damit wird das Item mit dem letzten Wert aus der DB initialisiert und Du hast keine default Null.

VG

[Morg]

Ich könnte mir vorstellen, dass der Eintrag in die Datenbank stattfindet, bevor das Item durch den knx Cache initialisiert wird.

Das wäre meine Vermutung; dann könnte man ggf. dem Database-Plugin beibringen, keine "default/Leerwerte" zu schreiben, wenn die von Init kommen.

Aber der Weg mit Cache wäre auch einen Versuch wert.

[Onkelandy]

Probier doch einfach cache: True. Dann ist der Wert vielleicht nicht 100% korrekt, wenn du shng ne längere Zeit aus hattest, aber du hast zumindest keine 0 drin. Alles andere müsste man sich im Detail ansehen, wenn es wichtig ist. Ich könnte mir vorstellen, dass der Eintrag in die Datenbank stattfindet, bevor das Item durch den knx Cache initialisiert wird.

[Morg]

Erstes Bild, "Change durch". Kannst du da nach dem Start den Item-Wert "0" sehen, und steht da, wer die 0 geschrieben hat?

Ansonsten muss das vielleicht im DB-Plugin angepasst werden. Stecke da aber nicht drin...

[Maexle]

Hallo Morg,

mir ist nicht wirklich klar was du meinst...

Hier?
1.PNG

3.PNG


2.PNG

[Morg]

Wer setzt denn die 0 nach dem Start? Kannst du im admin-IF sehen.... dann ggf. mit eval darauf filtern.

[Maexle]

Danke für die Rückmeldung.
"Cache" ist denke ich nicht aktiv das init habe ich jedoch verwendet.

# temp_wc.yaml
eg:
    wc:
        temperatur:
            type: num
        #    visu_acl: rw
            knx_dpt: 9
            knx_listen: 6/2/23
            knx_init: 6/2/23
            database: yes

_______________________



plugin.yaml

database:
    plugin_name: database
    driver: sqlite3
    connect:
    -   database:./var/db/smarthomeng.db
    -   check_same_thread:0
    precision: 1

Kann ich noch weitere Infos liefern?
Danke

[Onkelandy]

Ist für das Item cache: yes aktiviert? Bzw. database: init?
Anderen Grund kann ich mir nicht vorstellen.

[Maexle]

Ist die "Nullvermeidung" möglich? Wenn ja wo?

[Maexle]

Hallo zusammen,

ist bestimmt wieder nur ein kleines Häckchen... aber finden


Ich würde gerne vermeiden, dass bei einem Neustart eine Null für die Temperatur geschrieben wird.
Vgl. Bild

Temp.PNG



Danke

[Sisamiwe]

Hallo,

ich würde gern bei diversen meiner Items, die den Verbrauch bzw. Zählerstand loggen, ein Schreiben in die DB um 24.00 Uhr erzwingen, wenn sich im Laufe des aktuellen Tages keine Wertänderung ergeben hat.
Wenn der Wert immer um 24.00 Uhr geschrieben werden würde, wäre das auch ok.

Eine beispielhafte Itemkonfig ist:

        betriebsstunden_knx:
            name: Betriebsstundenzähler Brenner in Stunden
            type: num
            visu_acl: ro
            database: init
            eval: round(sh..betriebsstunden_knx_sek() / 60 / 60, 2)
            eval_trigger: .betriebsstunden_knx_sek
            enforce_updates: yes
            struct: wertehistorie_total
                
            betriebsstunden_knx_sek:
                name: Betriebsstundenzähler Brenner in Sekunden
                type: num
                visu_acl: ro
                database: init
                database_maxage: 200
                eval: sh...betriebsstunden_knx_sek() + sh....property.prev_update_age * int(sh....property.last_value)
                eval_trigger: ...

Crontab kann ich zwar die Berechnung des Items um eine gewisse Uhrzeit anstoßen, aber der Wert (da scheinbar der gleiche ist) wird nicht in die DB geschrieben.

Wie kann ich das erreichen?

Danke für die Tipps?