800 Gb/s pro GPU heute · 1,6 Tb/s als Nächstes
Quantum InfiniBand oder Spectrum-X Ethernet, SuperNICs, DPUs und Verkabelung: die Fabric, die entscheidet, ob Ihre GPUs wie eine einzige Maschine arbeiten.
Wenn ein KI-Job auf mehr als einem Server läuft, wartet jeder Schritt auf die langsamste Nachricht zwischen den GPUs. Eine Fabric, die nur auf dem Papier schnell, in der Praxis aber überlastet ist, kann teure GPUs während eines großen Teils jedes Trainingsschritts untätig lassen. Das Netzwerk richtig auszulegen ist der günstigste Weg, mehr aus den gekauften GPUs herauszuholen.
NVIDIA bietet zwei Fabrics für KI-Factorys. Quantum InfiniBand, inzwischen mit 800 Gb/s bei Quantum-X800, ist die bewährte Wahl für die größten Trainingscluster. Spectrum-X bringt KI-spezifische Überlastkontrolle und adaptives Routing ins Ethernet, wobei NVIDIA die 1,6-fache KI-Netzwerkleistung gegenüber Standard-Ethernet angibt, und passt zu Organisationen, die auf Ethernet-Betrieb standardisieren.
Wir planen das gesamte Netzwerk: die GPU-Fabric, ein separates Speichernetzwerk, das Frontend-Netzwerk zu Ihren Nutzern und das Managementnetzwerk, mit Verkabelung und Optik auf den Meter genau geplant.
Die NIC jeder GPU ist mit einer eigenen Rail aus Leaf-Switches verbunden, sodass kollektive Operationen den kürzesten Weg nehmen und der Datenverkehr auch bei wachsendem Cluster ausgeglichen bleibt.
Wir wägen Ihre Größe, Workloads, Mandantenanforderungen und die Kompetenzen Ihres Teams ab, statt uns standardmäßig für ein Lager zu entscheiden.
Checkpointing und Datenladen laufen über ein separates Netzwerk, oft über BlueField DPUs, sodass sie den GPU-zu-GPU-Verkehr nie verlangsamen.
NetQ für Ethernet und UFM für InfiniBand liefern Telemetrie und Fehlersuche und speisen unser SysOps247-Monitoring.
Bausteine, mit denen wir planen.
| Ethernet-Fabric | Spectrum-X switches, including Spectrum-6 based models at 102.4 Tb/s per switch chip (SN6600: 128 × 800G; SN6800: 512 × 800G in 5U) |
|---|---|
| InfiniBand-Fabric | Quantum-X800 InfiniBand at 800 Gb/s per port |
| SuperNICs | ConnectX-8 (800 Gb/s, PCIe Gen6) for Blackwell; ConnectX-9 (1,600 Gb/s per GPU) for Vera Rubin |
| DPUs | BlueField-3 for storage, security offload and multi-tenant isolation |
| Photonik | Spectrum-X Ethernet Photonics with co-packaged optics: NVIDIA quotes 5 times better power efficiency than pluggable optics |
| Verkabelung | LinkX DAC, AOC and transceivers, with a labelled cabling plan |
| Betrieb | NVIDIA NetQ (Ethernet), UFM (InfiniBand), integrated with your monitoring |
Die Angaben sind die von NVIDIA veröffentlichten Spezifikationen der Plattform. Wo NVIDIA zwei Tensor-Core-Werte nennt, gilt der erste mit Sparsity, der zweite dicht. Der genaue Aufbau (CPUs, Arbeitsspeicher, Speicher, Kühlung, Netzwerk) wird mit Ihnen abgestimmt und in einem schriftlichen Angebot bestätigt.
Netzwerkpunkte, die leicht vergessen werden.
| Platz und Strom | Leaf, spine and storage switches need rack space and power of their own |
|---|---|
| Kabelwege | Overhead or underfloor pathways sized for hundreds of high-speed cables |
| Optik-Budget | Transceivers can be a significant share of fabric cost; we size them precisely |
| Wachstum | Spine ports and pathways reserved for the next racks |
Ein verantwortliches britisches Team von der Dimensionierung bis zum laufenden Betrieb
Rail-optimierte Fabric, Speicher-, Frontend- und Managementnetzwerke, gemeinsam geplant.
Switches, NICs, Optiken und Kabel, gezählt auf den Port und den Meter genau.
Verkabelung, Firmware-Abgleich und NCCL-All-Reduce-Benchmarks vor der Übergabe.
Telemetrie, Überlastoptimierung und Störungsbehebung als Teil des Betriebs.
NVIDIA-Rechenzentrums-GPUs werden von NVIDIA und den Serverherstellern zugeteilt, und die Lieferzeiten werden eher in Monaten als in Wochen gemessen. Komplette, getestete Systeme erhalten in der Regel früher eine Zuteilung als Einzelteile, daher bieten wir diese Plattformen als fertige Systeme an. Lieferungen außerhalb Großbritanniens und viele fortschrittliche GPUs auch im Inland erfordern eine Endverbleibs- und Verwendungsprüfung nach britischen und US-amerikanischen Exportvorschriften, bevor wir die Lieferung bestätigen können.
Trade-Mitglieder erhalten Zeit unserer Ingenieure für Beschaffungs- und Designfragen, frühen Zugriff auf Lagerbestände und Vorrang auf Wartelisten sowie kostenlosen technischen Support bei jeder Bestellung.
Beide eignen sich gut für KI. InfiniBand hat die längste Erfolgsbilanz bei sehr großen Trainings. Spectrum-X passt zu mandantenfähigen Factorys und Teams, die überall sonst Ethernet betreiben. Wir geben unsere Empfehlung auf Basis Ihrer Größe und Kompetenzen.
Für Frontend- und Managementnetzwerke meist ja, für die GPU-Fabric selten. Blackwell-Systeme erwarten 400 bis 800 Gb/s pro GPU, was ältere Switches nicht liefern können.
Sagen Sie uns, was sie produzieren soll, wie viele Menschen sie nutzen werden und wo sie stehen würde. Ein Ingenieur meldet sich mit einer dimensionierten Empfehlung und einer ehrlichen Einschätzung, ob sich Eigentum für Sie lohnt.