Grace Blackwell Ultra · 72 GPUs · eine NVLink-Domäne
72 Blackwell-Ultra-GPUs und 36 Grace-CPUs, vereint in einer einzigen flüssigkeitsgekühlten NVLink-Domäne: ein Rack, das sich wie eine riesige GPU verhält.
In einem gewöhnlichen GPU-Server teilen sich acht GPUs schnelles NVLink, alles andere kommuniziert über das Netzwerk. GB300 NVL72 hebt diese Grenze auf. Sein NVLink-Switch-Spine vereint alle 72 Blackwell-Ultra-GPUs im Rack zu einer Domäne mit 130 TB/s Bandbreite, sodass ein Modell über das gesamte Rack verteilt werden kann, als wäre es ein einziger Beschleuniger.
Das zählt vor allem bei der anspruchsvollsten KI-Arbeit: sehr großen Mixture-of-Experts-Modellen, Reasoning mit langem Kontext und der Bedienung Tausender Nutzer mit niedriger Latenz. NVIDIA nennt bis zu 10-mal bessere Reaktionsfähigkeit pro Nutzer und 5-mal mehr Durchsatz pro Megawatt als Hopper – zusammen eine bis zu 50-fache Steigerung der KI-Fabrik-Leistung.
Es ist zugleich ein Gebäudetechnikprojekt. Das Rack ist vollständig flüssigkeitsgekühlt und zieht deutlich über 100 kW, daher müssen Halle, Kühlkreislauf und Stromzuführung bereit sein, bevor es ankommt. Genau dort setzen wir mit der Planung an.
Jede GPU erreicht jede andere mit voller NVLink-Geschwindigkeit. Tensor- und Expertenparallelität bleiben im Rack, statt das Netzwerk zu durchqueren – genau dort verlieren große Modelle normalerweise Zeit.
Mit der doppelten Attention-Leistung von Blackwell und dem 1,5-fachen dichten FP4-Durchsatz ist GB300 für Reasoning-Modelle gebaut, die für jede Anfrage lange Gedankenketten erzeugen.
20 TB HBM3e auf den GPUs plus 17 TB LPDDR5X auf den Grace-CPUs, kohärent verbunden, sodass riesige Key-Value-Caches und Modelle im Speicher bleiben.
Wir planen Kühlmittelverteilereinheit, Sekundärkreislauf, Wasserqualität, Leckageerkennung und Wartungskonzept gemeinsam mit Ihrem Facility-Team – nicht an ihm vorbei.
Von NVIDIA veröffentlichte Werte für das Rack.
| Konfiguration | 72 NVIDIA Blackwell Ultra GPUs, 36 NVIDIA Grace CPUs (2,592 Arm Neoverse V2 cores) |
|---|---|
| GPU-Speicher | 20 TB HBM3e, up to 576 TB/s |
| CPU-Speicher | 17 TB LPDDR5X, 14 TB/s |
| NVLink | 130 TB/s across the rack |
| FP4 Tensor Core | 1,440 | 1,080 PFLOPS |
| FP8 / FP16 Tensor Core | 720 / 360 PFLOPS (sparse) |
| Netzwerk | ConnectX-8 SuperNICs, 800 Gb/s per GPU, on Quantum-X800 InfiniBand or Spectrum-X Ethernet |
| Kühlung | Fully liquid cooled, rack-scale |
| Software | NVIDIA AI Enterprise, Dynamo and NIM for inference, Mission Control for operations |
Die Angaben sind die von NVIDIA veröffentlichten Spezifikationen der Plattform. Wo NVIDIA zwei Tensor-Core-Werte nennt, gilt der erste mit Sparsity, der zweite dicht. Der genaue Aufbau (CPUs, Arbeitsspeicher, Speicher, Kühlung, Netzwerk) wird mit Ihnen abgestimmt und in einem schriftlichen Angebot bestätigt.
GB300 NVL72 ist ein Ingenieurprojekt für das Rechenzentrum. Diese Fragen klären wir zuerst mit Ihnen.
| Stromverbrauch | Well over 100 kW per rack; we confirm the exact figure for your configuration |
|---|---|
| Kühlung | Direct liquid cooling with a coolant distribution unit and facility water supply |
| Boden | A fully populated rack weighs well over a tonne: floor loading and access routes are checked |
| Netzwerk | Spine capacity for 72 × 800 Gb/s per rack, plus storage and management networks |
| Hosting | Few UK halls can take this density today; we can shortlist colocation sites that can |
Ein verantwortliches britisches Team von der Dimensionierung bis zum laufenden Betrieb
Strom, Kühlkreislauf, Boden und Glasfaser, geplant mit Ihrem Facility-Team oder Ihrem Colocation-Anbieter.
Lieferung auf Rack-Ebene, Positionierung, Inbetriebnahme des Kühlmittels und Einschalten, bei Bedarf gemeinsam mit dem Hersteller.
NVLink-, Fabric- und thermische Abnahmetests vor produktiven Workloads.
Mission Control, Monitoring, Firmware-Lebenszyklus und SysOps247-Betreuung nach der Inbetriebnahme.
NVIDIA-Rechenzentrums-GPUs werden von NVIDIA und den Serverherstellern zugeteilt, und die Lieferzeiten werden eher in Monaten als in Wochen gemessen. Komplette, getestete Systeme erhalten in der Regel früher eine Zuteilung als Einzelteile, daher bieten wir diese Plattformen als fertige Systeme an. Lieferungen außerhalb Großbritanniens und viele fortschrittliche GPUs auch im Inland erfordern eine Endverbleibs- und Verwendungsprüfung nach britischen und US-amerikanischen Exportvorschriften, bevor wir die Lieferung bestätigen können.
Trade-Mitglieder erhalten Zeit unserer Ingenieure für Beschaffungs- und Designfragen, frühen Zugriff auf Lagerbestände und Vorrang auf Wartelisten sowie kostenlosen technischen Support bei jeder Bestellung.
Es besteht aus 18 Compute-Trays und 9 NVLink-Switch-Trays in einem Rack. Für Ihre Software bilden die 72 GPUs eine NVLink-Domäne, sodass Frameworks das Rack als einen sehr großen Beschleuniger behandeln können.
Nur wenn der Raum deutlich über 100 kW für ein Rack liefern kann und über eine Infrastruktur für Flüssigkeitskühlung verfügt. Die meisten Kunden stellen es in eine spezialisierte Colocation-Halle. Unsere Standortprüfung klärt die Frage frühzeitig.
DGX GB300 ist NVIDIAs eigene Version des Racks mit NVIDIAs Software- und Supportpaket. GB300-NVL72-Systeme von Partnern nutzen dieselbe Architektur anderer Serverhersteller. Wir können beides liefern und die Vor- und Nachteile erläutern.
Sagen Sie uns, was sie produzieren soll, wie viele Menschen sie nutzen werden und wo sie stehen würde. Ein Ingenieur meldet sich mit einer dimensionierten Empfehlung und einer ehrlichen Einschätzung, ob sich Eigentum für Sie lohnt.