Hopper · PCIe · 141 GB HBM3e
Des GPU Hopper PCIe avec 141 GB de HBM3e chacun, reliés par groupes de deux ou quatre : une inférence à grande mémoire qui s'intègre dans les baies refroidies par air existantes.
Parfois, la bonne AI factory est celle que vous pouvez installer le mois prochain dans les baies dont vous disposez déjà. H200 NVL apporte la grande mémoire HBM3e rapide de Hopper aux serveurs PCIe standard : 141 GB par GPU à 4,8 TB/s, dans une carte double slot refroidie par air qui fonctionne jusqu'à 600 W.
Deux ou quatre cartes peuvent être reliées par des ponts NVLink à 900 GB/s par GPU : un modèle plus grand que la mémoire d'une carte peut ainsi être réparti sur un groupe ponté. NVIDIA annonce pour H200 NVL jusqu'à 1,7 fois les performances d'inférence LLM de H100 NVL, et NVIDIA AI Enterprise est inclus avec le GPU.
C'est aussi une plateforme judicieuse lorsque les logiciels sont validés sur Hopper ou que l'infrastructure exclut la densité de puissance de Blackwell. Notez que l'approvisionnement en H200 NVL est fortement contingenté et que les délais sont longs.
141 GB par GPU accueillent de grands modèles et des contextes longs qui ne tiendraient pas sur des cartes de 48 GB ou 80 GB.
Les ponts NVLink à 900 GB/s par GPU permettent à un groupe de cartes de servir ensemble un modèle sans passer par le PCIe.
Serveurs NVIDIA-Certified et MGX jusqu'à huit GPU H200 NVL, dans des baies classiques refroidies par air.
Un abonnement NVIDIA AI Enterprise est fourni avec le GPU : les microservices NIM et les frameworks pris en charge sont prêts à l'emploi.
Chiffres publiés par NVIDIA pour H200 NVL et un serveur type.
| Mémoire GPU | 141 GB HBM3e, 4.8 TB/s |
|---|---|
| Tensor Core FP8 | 3,341 TFLOPS (sparse) |
| Tensor Core FP16 / BF16 | 1,671 TFLOPS (sparse) |
| Tensor Core FP64 | 60 TFLOPS |
| Consommation | Up to 600 W (configurable) |
| Interconnexion | 2- or 4-way NVLink bridge at 900 GB/s per GPU; PCIe Gen5 at 128 GB/s |
| Partitionnement | Up to 7 MIG instances of 16.5 GB |
| Serveur | Up to 8 GPUs per NVIDIA-Certified or MGX server |
Les chiffres sont les spécifications publiées par NVIDIA pour la plateforme. Lorsque NVIDIA indique deux valeurs pour les Tensor Cores, la première suppose la sparsité et la seconde est dense. La configuration exacte (processeurs, mémoire, stockage, refroidissement, réseau) est convenue avec vous et confirmée par un devis écrit.
Généralement la plateforme la plus simple à héberger après RTX PRO.
| Consommation | Up to 600 W per GPU plus host; an 8-GPU server sits well below HGX power levels |
|---|---|
| Refroidissement | Air cooled, dual-slot cards |
| Rack | Standard server racks |
Une seule équipe responsable au Royaume-Uni, du dimensionnement à l'exploitation au quotidien
Nous vérifions quels modèles et quelles longueurs de contexte tiennent par GPU et par groupe ponté.
Ponts, flux d'air et alimentation validés dans un serveur certifié.
NIM, vLLM ou TensorRT-LLM configurés et testés sur vos modèles.
Support au Royaume-Uni, adossé au support NVIDIA AI Enterprise.
Les GPU NVIDIA pour centres de données sont alloués par NVIDIA et les constructeurs de serveurs, et les délais se comptent en mois plutôt qu'en semaines. Les systèmes complets et testés obtiennent généralement une allocation plus tôt que les composants seuls ; nous chiffrons donc ces plateformes sous forme de systèmes assemblés. Les expéditions hors du Royaume-Uni, et de nombreux GPU avancés au Royaume-Uni même, nécessitent une vérification de l'utilisateur final et de l'utilisation finale au titre des règles d'exportation britanniques et américaines avant que nous puissions confirmer l'approvisionnement.
Les membres professionnels bénéficient du temps de nos ingénieurs pour leurs questions d'approvisionnement et de conception, d'un accès anticipé au stock et d'une priorité sur liste d'attente, ainsi que d'un support technique gratuit sur chaque commande.
Pour de nouvelles installations capables d'héberger Blackwell, généralement non. Il se justifie lorsque le refroidissement par air, les limites de puissance ou une pile logicielle validée sur Hopper excluent Blackwell.
H200 NVL est soumis à des allocations et les délais sont longs, actuellement plus longs que pour les cartes RTX PRO. Nous les confirmons dans un devis écrit après vérification auprès des fournisseurs.
Dites-nous ce que vous voulez qu'elle produise, combien de personnes l'utiliseront et où elle serait installée. Un ingénieur vous reviendra avec une recommandation dimensionnée et un avis honnête sur l'intérêt pour vous d'en être propriétaire.