RTX PRO 6000 Blackwell: Worauf es für lokale KI ankommt.
96 GB Grafikspeicher schaffen Spielraum für große lokale KI-Modelle. Ob die Workstation die passende Lösung ist, hängt dennoch vom konkreten Workload ab.
ZYMPLE AI Redaktion · ca. 8 Min. Lesezeit
| Edition | VRAM | Kühlung | Leistungsrahmen | Einbauklasse |
|---|---|---|---|---|
| Workstation Edition | 96 GB GDDR7 | aktiv, Flow-through | bis ca. 600 W | Tower-Workstation |
| Max-Q Workstation Edition | 96 GB GDDR7 | aktiv, gerichtete Abluft | bis ca. 300 W | validierte Mehr-GPU-Workstation |
| Server Edition | 96 GB GDDR7 | passiv | plattformabhängig | validierter OEM-Server |
Welche Rolle spielt GPU-Speicher?
Im VRAM liegen die Modellgewichte, Speicher der Runtime und der KV-Cache für den Kontext laufender Anfragen. Reicht der Speicher nicht, muss ausgelagert werden — mit deutlichen Leistungseinbußen — oder das Modell passt gar nicht.
Was ermöglichen 96 GB?
96 GB auf einer Karte bieten Spielraum für große Modelle, je nach Quantisierung, sowie für längere Kontexte. Ein 70B-Modell in 4 Bit benötigt rechnerisch ca. 35 GB für die Gewichte. Eine generelle Freigabe für ein bestimmtes Modell lässt sich daraus nicht ableiten; Kontext und Parallelität verändern den Bedarf erheblich.
Workstation, Max-Q und Server Edition unterscheiden
Die drei Editionen unterscheiden sich thermisch, im Leistungsrahmen und in der Einbauklasse. Sie sind nicht beliebig austauschbar: Eine passive Server Edition benötigt den Luftstrom eines validierten Servers, eine 600-W-Workstation Edition passende Gehäuse und Netzteile.
Warum zwei GPUs nicht automatisch doppelten nutzbaren Modellspeicher liefern
2 × 96 GB sind 192 GB physisch verteilter Speicher. Ein Modell kann nur dann beide Karten nutzen, wenn die Runtime es per Tensor- oder Pipeline-Parallelisierung aufteilt. Das kostet Kommunikation zwischen den GPUs; ein transparenter gemeinsamer Pool entsteht nicht.
Warum CPU, RAM, SSD und Kühlung trotzdem wichtig sind
Die CPU bereitet Daten auf und steuert die Runtime, der Arbeitsspeicher puffert Modelle und Dokumente, NVMe-SSDs bestimmen Ladezeiten und Indexgeschwindigkeit. Und ohne ausreichende Kühlung drosselt jede GPU unter Dauerlast.
Was sind TTFT und Tokens/Sekunde?
TTFT (Time to First Token) misst die Zeit bis zur ersten Ausgabe; Tokens pro Sekunde die Generierungsgeschwindigkeit — pro Anfrage oder in Summe. Beide hängen von Modell, Quantisierung, Kontext und Last ab. Eigene gemessene ZYMPLE-Werte veröffentlichen wir erst, wenn reproduzierbare Benchmarks vorliegen.
Fragen für das Sizing
- Welches Modell in welcher Quantisierung?
- Welche Kontextlänge?
- Wie viele parallele Anfragen?
- Welche Berechtigungen und Datenquellen?
- Welche Strom- und Standortbedingungen?
Passende Systeme: ZYMPLE AI Business · ZYMPLE AI Professional
Persönliche Beratung zu Ihrem Vorhaben.
Wir übertragen die Grundlagen auf Ihren konkreten Anwendungsfall.