800 Gb/s par GPU aujourd'hui · 1,6 Tb/s demain
Quantum InfiniBand ou Spectrum-X Ethernet, SuperNIC, DPU et câblage : la fabric qui détermine si vos GPU fonctionnent comme une seule machine.
Lorsqu'une tâche d'IA s'exécute sur plusieurs serveurs, chaque étape attend le message le plus lent entre les GPU. Une fabric rapide sur le papier mais congestionnée en pratique peut laisser des GPU coûteux inactifs pendant une bonne partie de chaque étape d'entraînement. Bien concevoir le réseau est le moyen le moins coûteux de tirer davantage des GPU que vous achetez.
NVIDIA propose deux fabrics pour les AI factories. Quantum InfiniBand, désormais à 800 Gb/s avec Quantum-X800, est le choix de longue date des plus grands clusters d'entraînement. Spectrum-X apporte à Ethernet un contrôle de congestion et un routage adaptatif propres à l'IA, NVIDIA annonçant 1,6 fois les performances réseau IA d'un Ethernet standard, et convient aux organisations qui standardisent leur exploitation sur Ethernet.
Nous concevons l'ensemble du parc réseau : la fabric GPU, un réseau de stockage distinct, le réseau front-end vers vos utilisateurs et le réseau de gestion, avec un câblage et des optiques planifiés au mètre près.
La NIC de chaque GPU se connecte à son propre rail de switchs leaf : les opérations collectives empruntent le chemin le plus court et le trafic reste équilibré à mesure que le cluster grandit.
Nous prenons en compte votre échelle, vos charges de travail, vos besoins multi-tenant et les compétences de votre équipe, plutôt que de nous ranger par défaut dans un camp.
Les points de contrôle et le chargement des données passent par un réseau distinct, souvent via des DPU BlueField, afin de ne jamais ralentir le trafic entre GPU.
NetQ pour Ethernet et UFM pour InfiniBand fournissent télémétrie et diagnostic des pannes, et alimentent notre supervision SysOps247.
Les éléments avec lesquels nous concevons.
| Fabric Ethernet | Spectrum-X switches, including Spectrum-6 based models at 102.4 Tb/s per switch chip (SN6600: 128 × 800G; SN6800: 512 × 800G in 5U) |
|---|---|
| Fabric InfiniBand | Quantum-X800 InfiniBand at 800 Gb/s per port |
| SuperNIC | ConnectX-8 (800 Gb/s, PCIe Gen6) for Blackwell; ConnectX-9 (1,600 Gb/s per GPU) for Vera Rubin |
| DPU | BlueField-3 for storage, security offload and multi-tenant isolation |
| Photonique | Spectrum-X Ethernet Photonics with co-packaged optics: NVIDIA quotes 5 times better power efficiency than pluggable optics |
| Câblage | LinkX DAC, AOC and transceivers, with a labelled cabling plan |
| Exploitation | NVIDIA NetQ (Ethernet), UFM (InfiniBand), integrated with your monitoring |
Les chiffres sont les spécifications publiées par NVIDIA pour la plateforme. Lorsque NVIDIA indique deux valeurs pour les Tensor Cores, la première suppose la sparsité et la seconde est dense. La configuration exacte (processeurs, mémoire, stockage, refroidissement, réseau) est convenue avec vous et confirmée par un devis écrit.
Les éléments réseau faciles à oublier.
| Espace et alimentation | Leaf, spine and storage switches need rack space and power of their own |
|---|---|
| Chemins de câbles | Overhead or underfloor pathways sized for hundreds of high-speed cables |
| Budget optique | Transceivers can be a significant share of fabric cost; we size them precisely |
| Croissance | Spine ports and pathways reserved for the next racks |
Une seule équipe responsable au Royaume-Uni, du dimensionnement à l'exploitation au quotidien
Fabric optimisée par rail, réseaux de stockage, front-end et de gestion conçus ensemble.
Switchs, NIC, optiques et câbles comptés au port et au mètre près.
Câblage, alignement des firmwares et benchmarks NCCL all-reduce avant la remise.
Télémétrie, réglage de la congestion et réponse aux pannes dans le cadre de l'exploitation.
Les GPU NVIDIA pour centres de données sont alloués par NVIDIA et les constructeurs de serveurs, et les délais se comptent en mois plutôt qu'en semaines. Les systèmes complets et testés obtiennent généralement une allocation plus tôt que les composants seuls ; nous chiffrons donc ces plateformes sous forme de systèmes assemblés. Les expéditions hors du Royaume-Uni, et de nombreux GPU avancés au Royaume-Uni même, nécessitent une vérification de l'utilisateur final et de l'utilisation finale au titre des règles d'exportation britanniques et américaines avant que nous puissions confirmer l'approvisionnement.
Les membres professionnels bénéficient du temps de nos ingénieurs pour leurs questions d'approvisionnement et de conception, d'un accès anticipé au stock et d'une priorité sur liste d'attente, ainsi que d'un support technique gratuit sur chaque commande.
Les deux fonctionnent bien pour l'IA. InfiniBand bénéficie du plus long historique pour l'entraînement à très grande échelle. Spectrum-X convient aux AI factories multi-tenant et aux équipes qui utilisent Ethernet partout ailleurs. Nous recommandons en fonction de votre échelle et de vos compétences.
Généralement pour les réseaux front-end et de gestion, rarement pour la fabric GPU. Les systèmes Blackwell attendent 400 à 800 Gb/s par GPU, ce que les switchs plus anciens ne peuvent pas fournir.
Dites-nous ce que vous voulez qu'elle produise, combien de personnes l'utiliseront et où elle serait installée. Un ingénieur vous reviendra avec une recommandation dimensionnée et un avis honnête sur l'intérêt pour vous d'en être propriétaire.