Grace Blackwell Ultra · 72 GPU · un seul domaine NVLink
72 GPU Blackwell Ultra et 36 CPU Grace réunis dans un seul domaine NVLink refroidi par liquide : une baie qui se comporte comme un GPU gigantesque.
Dans un serveur GPU classique, huit GPU partagent un NVLink rapide et tout le reste communique via le réseau. GB300 NVL72 supprime cette frontière. Son spine NVLink Switch réunit les 72 GPU Blackwell Ultra de la baie en un seul domaine offrant 130 TB/s de bande passante : un modèle peut ainsi être réparti sur toute la baie comme s'il s'agissait d'un seul accélérateur.
C'est décisif pour les travaux d'IA les plus exigeants : très grands modèles mixture-of-experts, raisonnement à contexte long et service de milliers d'utilisateurs à faible latence. NVIDIA annonce jusqu'à 10 fois plus de réactivité par utilisateur et 5 fois plus de débit par mégawatt que Hopper, soit jusqu'à 50 fois plus de production d'AI factory.
C'est aussi un projet d'infrastructure. La baie est entièrement refroidie par liquide et consomme bien plus de 100 kW : la salle, la boucle de refroidissement et les alimentations doivent être prêtes avant son arrivée. C'est par cette planification que nous commençons.
Chaque GPU peut joindre tous les autres à pleine vitesse NVLink. Le parallélisme tensoriel et d'experts reste dans la baie au lieu de traverser le réseau, là où les grands modèles perdent habituellement du temps.
Avec deux fois les performances d'attention de Blackwell et 1,5 fois le débit FP4 dense, GB300 est conçu pour les modèles de raisonnement qui génèrent de longues chaînes de réflexion à chaque requête.
20 TB de HBM3e sur les GPU plus 17 TB de LPDDR5X sur les CPU Grace, connectés de manière cohérente : d'énormes caches clé-valeur et modèles restent en mémoire.
Nous planifions l'unité de distribution du liquide de refroidissement, la boucle secondaire, la qualité de l'eau, la détection de fuites et le régime de maintenance avec votre équipe infrastructure, pas sans elle.
Chiffres publiés par NVIDIA pour la baie.
| Configuration | 72 NVIDIA Blackwell Ultra GPUs, 36 NVIDIA Grace CPUs (2,592 Arm Neoverse V2 cores) |
|---|---|
| Mémoire GPU | 20 TB HBM3e, up to 576 TB/s |
| Mémoire CPU | 17 TB LPDDR5X, 14 TB/s |
| NVLink | 130 TB/s across the rack |
| FP4 Tensor Core | 1,440 | 1,080 PFLOPS |
| Tensor Core FP8 / FP16 | 720 / 360 PFLOPS (sparse) |
| Réseau | ConnectX-8 SuperNICs, 800 Gb/s per GPU, on Quantum-X800 InfiniBand or Spectrum-X Ethernet |
| Refroidissement | Fully liquid cooled, rack-scale |
| Logiciels | NVIDIA AI Enterprise, Dynamo and NIM for inference, Mission Control for operations |
Les chiffres sont les spécifications publiées par NVIDIA pour la plateforme. Lorsque NVIDIA indique deux valeurs pour les Tensor Cores, la première suppose la sparsité et la seconde est dense. La configuration exacte (processeurs, mémoire, stockage, refroidissement, réseau) est convenue avec vous et confirmée par un devis écrit.
GB300 NVL72 est un projet d'ingénierie de centre de données. Voici les questions que nous traitons d'abord avec vous.
| Consommation | Well over 100 kW per rack; we confirm the exact figure for your configuration |
|---|---|
| Refroidissement | Direct liquid cooling with a coolant distribution unit and facility water supply |
| Sol | A fully populated rack weighs well over a tonne: floor loading and access routes are checked |
| Réseau | Spine capacity for 72 × 800 Gb/s per rack, plus storage and management networks |
| Hébergement | Few UK halls can take this density today; we can shortlist colocation sites that can |
Une seule équipe responsable au Royaume-Uni, du dimensionnement à l'exploitation au quotidien
Alimentation, boucle de refroidissement, sol et fibre conçus avec votre équipe infrastructure ou votre fournisseur de colocation.
Livraison au niveau de la baie, mise en place, mise en service du liquide de refroidissement et mise sous tension, avec le fabricant si nécessaire.
Tests de réception NVLink, fabric et thermiques avant les charges de production.
Mission Control, supervision, cycle de vie des firmwares et prise en charge SysOps247 une fois en production.
Les GPU NVIDIA pour centres de données sont alloués par NVIDIA et les constructeurs de serveurs, et les délais se comptent en mois plutôt qu'en semaines. Les systèmes complets et testés obtiennent généralement une allocation plus tôt que les composants seuls ; nous chiffrons donc ces plateformes sous forme de systèmes assemblés. Les expéditions hors du Royaume-Uni, et de nombreux GPU avancés au Royaume-Uni même, nécessitent une vérification de l'utilisateur final et de l'utilisation finale au titre des règles d'exportation britanniques et américaines avant que nous puissions confirmer l'approvisionnement.
Les membres professionnels bénéficient du temps de nos ingénieurs pour leurs questions d'approvisionnement et de conception, d'un accès anticipé au stock et d'une priorité sur liste d'attente, ainsi que d'un support technique gratuit sur chaque commande.
Il s'agit de 18 tiroirs de calcul et 9 tiroirs de switchs NVLink dans une baie. Pour vos logiciels, les 72 GPU forment un seul domaine NVLink : les frameworks peuvent donc traiter la baie comme un très grand accélérateur.
Seulement si la salle peut fournir bien plus de 100 kW à une baie et dispose d'une infrastructure de refroidissement liquide. La plupart des clients l'installent dans une salle de colocation spécialisée. Notre audit de site tranche la question très tôt.
DGX GB300 est la version de la baie proposée par NVIDIA elle-même, avec les logiciels et le package de support NVIDIA. Les systèmes GB300 NVL72 partenaires reprennent la même architecture chez d'autres fabricants de serveurs. Nous pouvons fournir l'un ou l'autre et vous expliquer les compromis.
Dites-nous ce que vous voulez qu'elle produise, combien de personnes l'utiliseront et où elle serait installée. Un ingénieur vous reviendra avec une recommandation dimensionnée et un avis honnête sur l'intérêt pour vous d'en être propriétaire.