service-llm-private/README.md
ValueOn AG 1e2a6bea70
All checks were successful
Deploy LLM Service / deploy (push) Successful in 22s
logging
2026-06-02 09:42:04 +02:00

711 B

Private LLM - für Neutralisierung

KI-Dokumentenanalyse und Text-Neutralisierung mit lokalen Ollama-Modellen.

Features

  • Text-Neutralisierung für den Gateway (kein Datenabfluss an externe APIs)
  • Rechnungen, Belege, Bankauszüge analysieren (Vision)
  • Handschrift erkennen
  • PDF-Support (PyMuPDF)
  • 100% lokal auf Schweizer Infrastruktur

Tech Stack

  • Backend: FastAPI (Python), Uvicorn
  • AI: Ollama (qwen2.5:7b, qwen2.5vl:7b, granite3.2-vision)
  • Server: Infomaniak Swiss Cloud (NVIDIA L4, 24 GB VRAM)
  • TLS: Let's Encrypt (llm.poweron.swiss)

Deployment

Automatisches Deployment via Forgejo Actions bei Push zu main. Ziel: /opt/ollama-webapp/app/ auf 83.228.200.109.