Technologie
Die Technik hinter unternehmenseigener KI.
Welche Modelle lassen sich lokal betreiben? Was leistet GPU-Speicher? Und worauf kommt es beim Aufbau einer KI-Infrastruktur wirklich an?
Warum eine GPU?
Parallel statt nacheinander.
Große Sprachmodelle (LLMs) führen viele mathematische Operationen parallel aus. GPUs — Grafikprozessoren — sind dafür optimiert.
CPU
Wenige, flexible Kerne
GPU
Sehr viele parallele Recheneinheiten
VRAM verstehen
Wie viel Speicher brauchen Modellgewichte?
Ein rein informativer Rechner: Gewichte ≈ Parameterzahl × Bitbreite / 8.
Gewichte ≈ Parameterzahl × Bitbreite / 8 → 70 Mrd. × 4 / 8
Theoretische Mindestgröße für Modellgewichte
~35 GB
GPU-Typen
Drei Editionen, drei Einsatzumgebungen.
96 GB GDDR7
Workstation Edition
Aktive Flow-through-Kühlung, bis ca. 600 W. Für Tower-Workstations.
96 GB GDDR7
Max-Q Workstation Edition
Bis ca. 300 W, gerichtete Abluft. Für entsprechend validierte Mehr-GPU-Workstations.
96 GB GDDR7
Server Edition
Passiv gekühlt. Nur in validierten OEM-Servern mit passender Luftführung.
Laufzeit
Vom Modell zum Token.
Mögliche Runtime-Kandidaten sind vLLM, Ollama oder llama.cpp — Auswahl je nach Anwendungsfall, keine Markenpartnerschaft.
- 01Modellgewichte
- 02Inference-Engine
- 03GPU-Speicher
- 04Erzeugte Tokens
Kontext & Parallelität
Registrierte Nutzer ≠ gleichzeitige Anfragen.
Hundert Mitarbeitende mit Zugang bedeuten nicht hundert gleichzeitig generierende Anfragen. Für die Dimensionierung zählt, wie viele Anfragen parallel laufen und wie lang Kontext und Antworten sind.
KV-Cache: Für jede laufende Anfrage speichert das Modell Zwischenergebnisse des Kontexts im VRAM. Längerer Kontext und mehr Parallelität brauchen mehr Speicher.
TTFT & Throughput: Time to First Token misst, wie schnell die erste Ausgabe erscheint; Throughput, wie viele Tokens pro Sekunde insgesamt erzeugt werden. Beides messen wir projektbezogen — wir nennen keine pauschalen Nutzerzahlen.
Modelloffenheit
Modellfamilien mit Lizenz im Blick.
Qwen, Mistral oder Llama dienen als illustrative Beispiele. Viele Modelle sind Open-Weight — die Gewichte sind verfügbar, die Nutzung folgt aber konkreten Lizenzbedingungen. Version und Lizenz prüfen wir je Projekt.
FAQ
Häufige Fragen
Technische Anforderungen besprechen.
Modell, Kontext, Last und Standort — wir klären die Eckdaten mit Ihrer IT.