Wenn dies dein erster Besuch hier ist, lies bitte zuerst die Hilfe - Häufig gestellte Fragen durch. Du musst dich vermutlich registrieren, bevor du Beiträge verfassen kannst. Klicke oben auf 'Registrieren', um den Registrierungsprozess zu starten. Du kannst auch jetzt schon Beiträge lesen. Suche dir einfach das Forum aus, das dich am meisten interessiert.
Ankündigung
Einklappen
Keine Ankündigung bisher.
Selfhosted - Welche Software und Services verwendet ihr?
Es ist eine unter Proxmox gehostete VM. Die stellt den KNX-Dongle über virtualhere ins Netz. Liegt daran, dass ich nur noch USB-C am Laptop habe und auf keinen Fall mit einem Adapter C auf A rumlaufen will.
So steckt der Dongle auch immer drin, manchmal eben über VPN .
Ja Linux, irgendwas möglichst kleines. Weiß nicht welches, hat mein Sohn eingerichtet. Ist aber nicht wichtig welches, muss nur Zugriff auf den USB haben.
Wenn's was wirklich kleines sein soll, empfiehlt sich das Debian-basierte DietPi. Die VM läuft bei mir auf dem NAS mit 1 Kern / 1GB RAM gemütlich als Pi-Hole DNS Server samt AdBlocker (neben einigen anderen, kleineren Netzwerkdiensten) vor sich hin, 'frisst' also im Grunde nix. Die Grundinstallation wurde extrem geschrumpft und bietet einen 'Nachinstaller' für die gängigen Linux-Pakete. Verfügbar für viele Plattformen (siehe Link vorn):
.. und seit einer Woche paperless-ai mit lokaler Ollama AI ... hat das wer von euch am und ans Laufen gebracht?
Die Verbindung zu paperless-ngx ist da, nur das automatische Prozessing will nicht starten. Manuelles funktioniert allerdings.
paperless-ngx, paperless-ai und ollama laufen auf 3 eigenen LXCs
Katy Perry: Can you here me roar?
Tatiana Shmailyuk: ... hold my beer!
Ich hatte das, glaube ich, so 2–3 Stunden lokal getestet und auch meine Datenbank einmal komplett durchlaufen lassen. Tatsächlich ging das relativ gut, aber er hat sich nicht an die Vorgaben gehalten, die ich im Prompt angegeben hatte.
Hab’s dann parallel mit ChatGPT getestet: 10 € aufgeladen, davon sind noch 9 € übrig, und über 1200 Dokumente verarbeitet.
Das ist das Schöne an Proxmox – ich mache vorher ein Backup und wenn’s nicht passt, spiele ich einfach zurück 😄 bzw. nutze einen Snapshot.
Problem lokal ist vielleicht auch, dass ich nur eine 8 GB-Grafikkarte habe, und ich habe nur zwei Modelle probiert. Ich würde sagen: Lokal lag die Trefferquote bei ca. 40 %, ChatGPT schafft dagegen 80–90 %.
Ich habe im Prompt auch angegeben, dass er, wenn etwas unklar ist, ein Tag mit „Prüfen“ setzen soll. Das hat Ollama nicht hinbekommen – teilweise war echt Müll drin.
Das ist allerdings schon 3 Monate her, und da verbessert sich ja ständig was.
Getestet hatte ich übrigens diese zwei Modelle:
grafik.png
Wir verarbeiten personenbezogene Daten über die Nutzer unserer Website mithilfe von Cookies und anderen Technologien, um unsere Dienste bereitzustellen. Weitere Informationen findest Du in unserer Datenschutzerklärung.
Indem Du unten auf "ICH stimme zu" klickst, stimmst Du unserer Datenschutzerklärung und unseren persönlichen Datenverarbeitungs- und Cookie-Praktiken zu, wie darin beschrieben. Du erkennst außerdem an, dass dieses Forum möglicherweise außerhalb Deines Landes gehostet wird und bist damit einverstanden, dass Deine Daten in dem Land, in dem dieses Forum gehostet wird, gesammelt, gespeichert und verarbeitet werden.
Kommentar