← Alle Baupläne
Eigenes Sprachmodell auf gemieteter GPU betreiben
Gesundheit, Recht, Personal, sehr hohe Nutzung. vLLM oder Ollama auf gemieteter Grafikkarte, Anwendung getrennt davon. Das trägt rund 1 Million Aufrufe im Monat.
So sieht der Bauplan aus
Voller Ausbau · Klick auf einen Anbieter zeigt seinen Steckbrief.
Eigenes Modell auf eigener GPU
IP-Projects GPUKI & Inferenz · GPU-Server
vLLMKI & Inferenz · Modell selbst betreiben
HetznerEigener Server · VPS
DockerAusliefern · Docker / Container
Qdrant CloudDatenbank · Suche & Vektoren
MinIODateien & Uploads · Selbst betrieben
Grafana + Loki + PrometheusBetrieb · Logs & Metriken
Hetzner Storage BoxBetrieb · Backups
Plan A: Voller Ausbau
| Baustein | Bauart | Empfehlung | Alternative |
|---|---|---|---|
| KI & Inferenz | GPU-ServerEigene Grafikleistung, meist für Inferenz oder Feintuning. | IP-Projects GPUDE | menkiSys vGPUEU |
| KI & Inferenz | Modell selbst betreibenLäuft auf deiner GPU. Keine Tokenpreise, dafür Betrieb. | vLLMselbst | Ollamaselbst |
| Eigener Server | VPSVirtueller Server mit eigener Kontrolle. | HetznerDE | netcupDE |
| Ausliefern | Docker / ContainerReproduzierbare App-Umgebungen. | Dockerselbst | Podmanselbst |
| Datenbank | Suche & VektorenVolltextsuche, Filter, Embeddings. Gehört nicht in die Hauptdatenbank. | Qdrant (selbst) | pgvectorselbst |
| Dateien & Uploads | Selbst betriebenObjektspeicher auf deiner eigenen Infrastruktur. | MinIOselbst | Garageselbst |
| Betrieb | Logs & MetrikenNicht nur „ist es an“, sondern „warum war es langsam“. | Grafana + Loki | SigNozselbst |
| Betrieb | BackupsDaten wiederherstellen können. | Hetzner Storage Box + Restic | Bunny StorageEU |
Damit geht das nicht zusammen
- Ich will nichts verwaltenEine eigene GPU ist genau die Verwaltung, die du vermeiden willst
- So günstig wie möglichEine GPU-Stunde kostet mehr als ein VPS-Monat
Plan B: Erst die Modell-API
Bevor eine Grafikkarte im Monat 199 € kostet: dieselbe Funktion über eine europäische Modell-API.
| Baustein | Statt | Nimm |
|---|---|---|
| KI & Inferenz | Eigene GPU mit vLLM | Mistral AI oder IONOS AI Model Hub |
| Eigener Server | GPU-Server | Kleiner Cloud-Server |
Was das kostet: Ein Bruchteil der Kosten, solange die Nutzung klein bleibt. Dafür verlassen die Anfragen deine Maschine.
Lass die KI den Rest erklären
# Eigenes Sprachmodell auf gemieteter GPU betreiben Bauplan: Eigenes Modell auf eigener GPU Gedacht für: Gesundheit, Recht, Personal, sehr hohe Nutzung. Gebaut mit: vLLM oder Ollama auf gemieteter Grafikkarte, Anwendung getrennt davon. ## Bausteine, Bauarten und Anbieter ### KI & Inferenz - Bauart: GPU-Server - Anbieter: IP-Projects GPU - Standort: Deutschland - Preis: ab ca. 203,00 € - Einordnung: GPU-Server · Deutschland ### KI & Inferenz - Bauart: Modell selbst betreiben - Anbieter: vLLM - Standort: Auf deinem Server - Preis: Gratis / Open Source - Einordnung: Modell selbst betreiben · Auf deinem Server ### Eigener Server - Bauart: VPS - Anbieter: Hetzner - Standort: Deutschland / EU - Preis: ab ca. 4,50 € - Einordnung: Deutscher VPS mit gutem Preis-Leistungs-Verhältnis. ### Ausliefern - Bauart: Docker / Container - Anbieter: Docker - Standort: Auf deinem Server - Preis: Gratis / Open Source - Einordnung: Standardwerkzeug für Container und Compose. ### Datenbank - Bauart: Suche & Vektoren - Anbieter: Qdrant Cloud - Standort: Deutschland / EU - Preis: Gratis-Stufe / ab ca. 25 € - Einordnung: Suche & Vektoren · Deutschland / EU ### Dateien & Uploads - Bauart: Selbst betrieben - Anbieter: MinIO - Standort: Auf deinem Server - Preis: Gratis / Open Source - Einordnung: S3-kompatibler Speicher auf deinem eigenen Server. ### Betrieb - Bauart: Logs & Metriken - Anbieter: Grafana + Loki + Prometheus - Standort: Auf deinem Server - Preis: Serverkosten - Einordnung: Mächtiger Stack für Teams, die den Betrieb selbst übernehmen. ### Betrieb - Bauart: Backups - Anbieter: Hetzner Storage Box - Standort: Deutschland / EU - Preis: ab ca. 4 € - Einordnung: Externer Speicher für Backups. ## Rahmen - Richtwert: rund 199,00 € im Monat - Reicht für: rund 1 Million Aufrufe im Monat - Aufwand im Betrieb: ständig, technisches Wissen nötig - Rechtsraum: Alle empfohlenen Anbieter mit Sitz in Deutschland - Sollbruchstelle: Der Leerlauf. Die Karte kostet rund um die Uhr, auch wenn niemand fragt. ## Aufgabe für die KI 1. Erkläre, wie diese Teile zusammenhängen und welche Daten wohin fließen. 2. Prüfe die Kostenrechnung und nenne die drei Posten, die zuerst unerwartet steigen. 3. Gib eine Installationsanleitung in der richtigen Reihenfolge, je Anbieter konkret. 4. Sag mir, was ich mit diesem Aufbau nicht machen sollte. Antworte auf Deutsch, duze mich, erkläre jeden Fachbegriff bei der ersten Nennung in einem Halbsatz.