ValueOn AG
1e2a6bea70
All checks were successful
Deploy LLM Service / deploy (push) Successful in 22s
24 lines
711 B
Markdown
24 lines
711 B
Markdown
# Private LLM - für Neutralisierung
|
|
|
|
KI-Dokumentenanalyse und Text-Neutralisierung mit lokalen Ollama-Modellen.
|
|
|
|
## Features
|
|
|
|
- Text-Neutralisierung für den Gateway (kein Datenabfluss an externe APIs)
|
|
- Rechnungen, Belege, Bankauszüge analysieren (Vision)
|
|
- Handschrift erkennen
|
|
- PDF-Support (PyMuPDF)
|
|
- 100% lokal auf Schweizer Infrastruktur
|
|
|
|
## Tech Stack
|
|
|
|
- **Backend:** FastAPI (Python), Uvicorn
|
|
- **AI:** Ollama (qwen2.5:7b, qwen2.5vl:7b, granite3.2-vision)
|
|
- **Server:** Infomaniak Swiss Cloud (NVIDIA L4, 24 GB VRAM)
|
|
- **TLS:** Let's Encrypt (`llm.poweron.swiss`)
|
|
|
|
## Deployment
|
|
|
|
Automatisches Deployment via Forgejo Actions bei Push zu `main`.
|
|
Ziel: `/opt/ollama-webapp/app/` auf `83.228.200.109`.
|
|
|