NVIDIA RTX PRO 6000 Blackwell Server Edition: Eine GPU für KI, Grafik und Simulation im britischen Serverraum
Was die RTX PRO 6000 Server Edition ist, für wen sie sich eignet, die Systeme mit 2U, 4U und 32 GPUs pro Rack, wie sie sich mit der L40S vergleicht und wie Workstation sie liefert
Die meisten Unternehmen, die private KI wollen, brauchen keinen Supercomputer. Sie brauchen einige Server, die ihre Modelle, die 3D-Arbeit ihrer Designer und ihre Simulationen ausführen, in einem Rack, das sie bereits haben, mit einer Leistungsaufnahme, die ihr Gebäude liefern kann. NVIDIAs RTX PRO 6000 Blackwell Server Edition ist genau für diese Aufgabe gebaut. Dieser Beitrag erklärt, was sie ist, für wen sie sich eignet, welche drei Systemgrößen gekauft werden und was Sie vor der Bestellung prüfen sollten.
Was sie ist, einfach erklärt
NVIDIA verkauft zwei Arten von Rechenzentrums-GPUs. Die erste ist die HGX-Familie (B200, B300 und ihre Nachfolger): acht GPUs, per NVLink auf einer Platine verbunden, gebaut für das Training der größten Modelle. Die zweite ist eine PCIe-Karte, die in einen gewöhnlichen Server gesteckt wird. Die RTX PRO 6000 Blackwell Server Edition ist die neueste und leistungsfähigste Karte der zweiten Art und löst die L40S ab.
- 96 GB GDDR7-Speicher pro GPU, mit Fehlerkorrektur. Der Speicher entscheidet darüber, wie groß ein Modell sein kann und wie viele Personen es gleichzeitig nutzen können. 96 GB sind doppelt so viel wie bei der L40S.
- Tensor-Cores der fünften Generation mit FP4. FP4 ist ein 4-Bit-Zahlenformat, das im Vergleich zu FP8 den Speicherbedarf eines Modells etwa halbiert und die Geschwindigkeit verdoppelt, sofern das Modell bei dieser Genauigkeit seine Präzision behält. NVIDIA nennt bis zu 4 PFLOPS FP4 pro Karte.
- Auch Grafikhardware. 188 RT-Cores für Raytracing, vier Video-Encoder, vier Decoder und vier DisplayPort-2.1-Ausgänge. Dieselbe Karte, die einen Chatbot bedient, kann eine Produktvisualisierung rendern oder einen digitalen Zwilling in Omniverse ausführen.
- Eine GPU oder vier. Multi-Instance GPU (MIG) teilt eine Karte in bis zu vier isolierte GPUs mit jeweils eigenem Speicher und eigener Rechenleistung auf, sodass kleine Jobs und getrennte Teams keine ganze Karte verschwenden.
- Luft- oder flüssigkeitsgekühlt. Die luftgekühlte Karte ist eine passive Dual-Slot-Karte in voller Länge, die auf die Lüfter des Servers angewiesen ist. Eine flüssigkeitsgekühlte Single-Slot-Version eignet sich für dichtere Systeme.
Warum das für ein britisches Unternehmen wichtig ist
Drei Dinge machen sie zu einer praktischen Wahl für Unternehmen außerhalb der Hyperscaler.
Sie passt in den Raum, den Sie haben. Ein Server mit vier GPUs belegt 2U und nimmt bei voller GPU-Leistung etwa 3 bis 3,5 kW auf. Das ist für viele bestehende Serverräume und Colocation-Racks erreichbar, im Gegensatz zu einem HGX-System mit acht GPUs, das oft 10 kW oder mehr für einen einzigen Server und manchmal Flüssigkeitskühlung benötigt.
Sie bedient mehr als ein Team. Viele Unternehmen kaufen KI-Hardware für ein Projekt und sehen dann zu, wie sie ungenutzt bleibt. Weil die RTX PRO 6000 bei Grafik ebenso gut ist wie bei KI, können dieselben Server tagsüber Inferenz für den Kundenservice ausführen und nachts Rendering, Simulation oder Feinabstimmung.
Ihre Daten bleiben in Ihren Räumlichkeiten. Wenn Sie Modelle auf eigener Hardware betreiben, bleiben Prompts, Dokumente und Ausgaben in Ihrem Gebäude, was die Einhaltung der UK GDPR, der Vertraulichkeit gegenüber Kunden und branchenspezifischer Vorschriften vereinfacht. Ist die Hardware bezahlt, kostet intensive tägliche Nutzung nur Strom, ohne Abrechnung pro Token.
Drei Größen, von der Abteilung bis zur Rechenzentrumshalle
| System | GPU-Speicher | Typischer Einsatz | Einzuplanende Leistung |
|---|---|---|---|
| 2U, vier GPUs | 384 GB | Privater Assistent einer Abteilung, Dokumentensuche mit RAG, ein erster produktiver Inferenzdienst | Etwa 3 bis 3,5 kW |
| 4U, acht GPUs (NVIDIA MGX) | 768 GB | Mehrere Modelle gleichzeitig, größere Modelle, viele gleichzeitige Nutzer, ein gemeinsamer Render-Knoten | Etwa 6 bis 7 kW |
| Ein Rack mit 32 GPUs | Etwa 3 TB | Unternehmensweite Inferenz, Multi-Agenten-Systeme, Renderfarmen, Erzeugung synthetischer Daten | 25 bis 30 kW pro Rack |
Die Rack-Scale-Option verdient einen genaueren Blick. AMAX, ein US-amerikanischer Systemhersteller, verkauft ein Design namens RackScale 32: 32 GPUs vom Typ RTX PRO 6000 Server Edition auf zwei AMD-EPYC-9005-Prozessoren in NVIDIA-MGX-Servern, verbunden über NVIDIA Spectrum-X Ethernet oder Quantum InfiniBand. Das ergibt etwa 3 TB GPU-Speicher und nach NVIDIAs Spitzenwerten 128 PFLOPS FP4 in einem Rack. AMAX positioniert es als Baustein für eine „KI-Fabrik“, die Rack für Rack wächst. Der Baustein darin ist ein 4U-MGX-Server mit acht GPUs, etwa AMAX' AceleMax AXG-428AG, mit Platz für fünf 400-Gb/s-Netzwerkkarten und acht E1.S-Laufwerke.
Sie müssen nicht mit einem ganzen Rack beginnen. Die meisten unserer Kunden starten mit einem 2U- oder 4U-Server, weisen die Tauglichkeit für ihren Workload nach und ergänzen dann Server mit derselben Konfiguration. Ein einheitlicher Aufbau macht dieses Wachstum einfach.
RTX PRO 6000 oder L40S?
Wenn Sie bereits L40S-Server betreiben, ist die RTX PRO 6000 Server Edition das naheliegende Upgrade. Sie hat doppelt so viel Speicher, fast die doppelte Bandbreite (1.597 GB/s gegenüber 864 GB/s), FP4, MIG und PCIe Gen 5. Ein Modell, das zwei L40S-Karten brauchte, passt oft auf eine RTX PRO 6000, was Steckplätze, Strom und Lizenzen spart. Die L40S ist weiterhin sinnvoll, wo der Strom knapp ist (350 W gegenüber bis zu 600 W) oder wo Ihre Modelle bequem in 48 GB passen.
Was sie nicht kann
- Kein NVLink. Die Karten kommunizieren über PCIe. Das ist in Ordnung, wenn viele Kopien eines Modells laufen oder ein Modell auf einige GPUs aufgeteilt wird. Große Trainingsläufe, bei denen GPUs ständig Daten austauschen müssen, gehören auf HGX-Systeme.
- Spitzenwerte sind Spitzenwerte. NVIDIAs FP4- und FP8-Angaben sind Maximalwerte. Ihr Durchsatz hängt vom Modell, der Genauigkeit, der Kontextlänge und der Software ab; deshalb führen wir einen Benchmark mit Ihrem Workload durch, bevor wir die Bestellung dimensionieren.
- 600 W sind viel Wärme. Acht Karten bei voller Leistung sind fast 5 kW allein für die GPUs. Das Leistungslimit lässt sich senken, was ein wenig Geschwindigkeit gegen mehr GPUs pro Rack eintauscht.
Wie Workstation sie liefert
- Dimensionieren. Wir ermitteln GPU-Speicher, Nutzerzahl und Speicherbedarf aus Ihren Modellen, Kontextlängen und dem erwarteten Datenverkehr und wählen das kleinste System, das die Aufgabe erfüllt.
- Standort prüfen. Leistung pro Rack, Kühlung, Bodenbelastung, Netzwerk-Uplinks und Transportwege, bevor wir irgendetwas anbieten.
- Angebot erstellen. Ein schriftliches Angebot mit der genauen Konfiguration, der Lieferzeit sowie dem benötigten Strom und der Kühlung. Die Preise für diese Systeme ändern sich mit der GPU-Verfügbarkeit, daher bestätigen wir sie schriftlich, statt zu raten.
- Aufbauen und testen. Betriebssystem, NVIDIA-Rechenzentrumstreiber, CUDA, das Container-Toolkit und Ihr Inferenz- oder Rendering-Stack, danach ein Burn-in unter Volllast.
- Installieren und betreuen. Wir bauen das System ins Rack ein, verkabeln es, übergeben es und betreuen es von Großbritannien aus, mit der Herstellergarantie für die Hardware.
Alle Details, von Formeln zur Speicherdimensionierung und MIG bis zu PCIe-Topologie, Netzwerk und einer Checkliste für die Bereitstellung, finden Sie in unserem technischen Leitfaden zur RTX PRO 6000 Blackwell Server Edition. Die RTX-PRO-6000-Seite enthält die vollständige Spezifikation und die Systeme, die wir liefern.
Quellen
- NVIDIA: RTX PRO 6000 Blackwell Server Edition
- AMAX: RackScale 32 mit NVIDIA RTX PRO 6000 Blackwell Server Edition
- AMAX: RTX PRO 6000 Blackwell Server Edition im Vergleich zur L40S
Marken. NVIDIA, das NVIDIA-Logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X und Quantum sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den USA und anderen Ländern. AMAX und AceleMax sind Marken der AMAX Engineering Corporation. AMD und EPYC sind Marken von Advanced Micro Devices, Inc. Alle anderen Marken gehören ihren jeweiligen Inhabern. Workstation ist ein unabhängiger Anbieter; eine Billigung durch diese Unternehmen ist nicht impliziert. Das Video stammt von NVIDIA.