← Alle Baupläne

Eigenes Sprachmodell auf gemieteter GPU betreiben

Gesundheit, Recht, Personal, sehr hohe Nutzung. vLLM oder Ollama auf gemieteter Grafikkarte, Anwendung getrennt davon. Das trägt rund 1 Million Aufrufe im Monat.

So sieht der Bauplan aus

Voller Ausbau · Klick auf einen Anbieter zeigt seinen Steckbrief.

Eigenes Modell auf eigener GPU
IP-Projects GPUKI & Inferenz · GPU-Server
vLLMKI & Inferenz · Modell selbst betreiben
HetznerEigener Server · VPS
DockerAusliefern · Docker / Container
Qdrant CloudDatenbank · Suche & Vektoren
MinIODateien & Uploads · Selbst betrieben
Grafana + Loki + PrometheusBetrieb · Logs & Metriken
Hetzner Storage BoxBetrieb · Backups

Plan A: Voller Ausbau

BausteinBauartEmpfehlungAlternative
KI & InferenzGPU-ServerEigene Grafikleistung, meist für Inferenz oder Feintuning.IP-Projects GPUDEmenkiSys vGPUEU
KI & InferenzModell selbst betreibenLäuft auf deiner GPU. Keine Tokenpreise, dafür Betrieb.vLLMselbstOllamaselbst
Eigener ServerVPSVirtueller Server mit eigener Kontrolle.HetznerDEnetcupDE
AusliefernDocker / ContainerReproduzierbare App-Umgebungen.DockerselbstPodmanselbst
DatenbankSuche & VektorenVolltextsuche, Filter, Embeddings. Gehört nicht in die Hauptdatenbank.Qdrant (selbst)pgvectorselbst
Dateien & UploadsSelbst betriebenObjektspeicher auf deiner eigenen Infrastruktur.MinIOselbstGarageselbst
BetriebLogs & MetrikenNicht nur „ist es an“, sondern „warum war es langsam“.Grafana + LokiSigNozselbst
BetriebBackupsDaten wiederherstellen können.Hetzner Storage Box + ResticBunny StorageEU
Damit geht das nicht zusammen
  • Ich will nichts verwaltenEine eigene GPU ist genau die Verwaltung, die du vermeiden willst
  • So günstig wie möglichEine GPU-Stunde kostet mehr als ein VPS-Monat

Plan B: Erst die Modell-API

Bevor eine Grafikkarte im Monat 199 € kostet: dieselbe Funktion über eine europäische Modell-API.

BausteinStattNimm
KI & InferenzEigene GPU mit vLLMMistral AI oder IONOS AI Model Hub
Eigener ServerGPU-ServerKleiner Cloud-Server

Was das kostet: Ein Bruchteil der Kosten, solange die Nutzung klein bleibt. Dafür verlassen die Anfragen deine Maschine.

Lass die KI den Rest erklären

# Eigenes Sprachmodell auf gemieteter GPU betreiben

Bauplan: Eigenes Modell auf eigener GPU
Gedacht für: Gesundheit, Recht, Personal, sehr hohe Nutzung.
Gebaut mit: vLLM oder Ollama auf gemieteter Grafikkarte, Anwendung getrennt davon.

## Bausteine, Bauarten und Anbieter

### KI & Inferenz
- Bauart: GPU-Server
- Anbieter: IP-Projects GPU
- Standort: Deutschland
- Preis: ab ca. 203,00 €
- Einordnung: GPU-Server · Deutschland

### KI & Inferenz
- Bauart: Modell selbst betreiben
- Anbieter: vLLM
- Standort: Auf deinem Server
- Preis: Gratis / Open Source
- Einordnung: Modell selbst betreiben · Auf deinem Server

### Eigener Server
- Bauart: VPS
- Anbieter: Hetzner
- Standort: Deutschland / EU
- Preis: ab ca. 4,50 €
- Einordnung: Deutscher VPS mit gutem Preis-Leistungs-Verhältnis.

### Ausliefern
- Bauart: Docker / Container
- Anbieter: Docker
- Standort: Auf deinem Server
- Preis: Gratis / Open Source
- Einordnung: Standardwerkzeug für Container und Compose.

### Datenbank
- Bauart: Suche & Vektoren
- Anbieter: Qdrant Cloud
- Standort: Deutschland / EU
- Preis: Gratis-Stufe / ab ca. 25 €
- Einordnung: Suche & Vektoren · Deutschland / EU

### Dateien & Uploads
- Bauart: Selbst betrieben
- Anbieter: MinIO
- Standort: Auf deinem Server
- Preis: Gratis / Open Source
- Einordnung: S3-kompatibler Speicher auf deinem eigenen Server.

### Betrieb
- Bauart: Logs & Metriken
- Anbieter: Grafana + Loki + Prometheus
- Standort: Auf deinem Server
- Preis: Serverkosten
- Einordnung: Mächtiger Stack für Teams, die den Betrieb selbst übernehmen.

### Betrieb
- Bauart: Backups
- Anbieter: Hetzner Storage Box
- Standort: Deutschland / EU
- Preis: ab ca. 4 €
- Einordnung: Externer Speicher für Backups.

## Rahmen

- Richtwert: rund 199,00 € im Monat
- Reicht für: rund 1 Million Aufrufe im Monat
- Aufwand im Betrieb: ständig, technisches Wissen nötig
- Rechtsraum: Alle empfohlenen Anbieter mit Sitz in Deutschland
- Sollbruchstelle: Der Leerlauf. Die Karte kostet rund um die Uhr, auch wenn niemand fragt.

## Aufgabe für die KI

1. Erkläre, wie diese Teile zusammenhängen und welche Daten wohin fließen.
2. Prüfe die Kostenrechnung und nenne die drei Posten, die zuerst unerwartet steigen.
3. Gib eine Installationsanleitung in der richtigen Reihenfolge, je Anbieter konkret.
4. Sag mir, was ich mit diesem Aufbau nicht machen sollte.

Antworte auf Deutsch, duze mich, erkläre jeden Fachbegriff bei der ersten Nennung in einem Halbsatz.