La boutique est ouverte

Nous construisons les machines Workstation AI pour les sites web, les agents IA et l'entraînement de LLM — configurez-les et achetez-les en ligne.

Obtenir les prix pro
Produits IA
Labs IAAgents OpenAIAgents ClaudeGrok BotCRM natif Workstation AIMarketingTous les produits
Solutions IA
IA appliquéeAgents IAIA générativeAutomatisation par IAMontée en compétence IAOffres IA pour PMELaboratoire IA d'entrepriseStations de travail IAMatériel et logiciels NVIDIACalcul accéléré NVIDIAIA privéeCloud privé GPUClusters GPUIA en périphérieIA par secteur
Services IA
Modernisation des plateformesIngénierie numériqueFondations data et IAOpérations autonomesConseil IAAutomatisation DevOpsCybersécuritéDéveloppement logicielCréation d'agentsMise en place MLOpsLocation de GPUCloud privé GPU
À propos
EntrepriseNotre histoirePartenairesTémoignages clients
Centres de données IA
Centres de données IACloud privé GPUClusters GPULocation de GPU
Analyses IASérie JevLabo de benchmarksChoix de modèles
Notes techniques
Documentation
OS LinuxUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
Plateformes cloud d'IAAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryClouds et places de marché GPU
Centres de données IA privésPour les cabinets d'avocatsPour les cabinets comptablesPlateformes sur siteCloud entièrement sécurisé
OutilsRing PromoterJobshout
Actualités
Blog
Nous contacterSe connecter

Stations de travail IA, logiciels multi-agents IA, infrastructure GPU et solutions d'agents intelligents pour les entreprises modernes.

Nous contacter

Solutions IA

IA appliquéeAgents IAIA générativeAutomatisation par IAMontée en compétence IAOffres IA pour PMELaboratoire IA d'entrepriseIA par secteur

Produits

Tous les produitsCRM & ERP natifs Workstation AIMarketingAgents OpenAIRing PromoterJobshout

Entreprise

À proposEntrepriseCentres de données IAPourquoi WorkstationPartenairesTémoignages clientsTarifsContactTenthMatrix

Ressources

Analyses IANotes techniquesDocumentationOS LinuxPlateformes cloud d'IACentres de données IA privésBlogRechercherPlan du site
Bureau de Belgique
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683Lun - Ven : 9h00 - 18h00 CET
+32 492 45 67 46
Siège social au Royaume-Uni
77-79 Marlowes, Hemel Hempstead HP1 1LFItinéraire : prenez la sortie 20 de la M25, Outer LondonN° d'entreprise: 11641870Lun - Ven : 9h00 - 18h00 GMT
+44 7515 356 146
Bureau de l'Inde
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841
Bureau de Taïwan
3F, No. 2-4, Aisi Rd., Ren'ai Dist., Keelung City 200, Taiwan基隆市仁愛區愛四路2之4號3樓Lun - Ven : 9 h 00 - 18 h 00, heure de Taïwan (GMT+8)
+886 926 892 701+32 492 45 67 46
Bureau en Estonie
Aleksander Puškini tn 30-25, 20306 Narva, EstoniaLun - Ven : 9 h 00 - 18 h 00, heure d’Estonie (EET)
+32 492 45 67 46

© 2026 Workstation AI. Tous droits réservés.

ConfidentialitéSuppression des donnéesCookiesConditions d'utilisationPlan du site web

NVIDIA, le logo NVIDIA, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX et HGX sont des marques commerciales et/ou des marques déposées de NVIDIA Corporation aux États-Unis et dans d'autres pays. AMD, le logo AMD Arrow, EPYC, Instinct, Ryzen et Threadripper sont des marques commerciales d'Advanced Micro Devices, Inc. Dell et PowerEdge sont des marques commerciales de Dell Inc. ou de ses filiales. Intel et Xeon sont des marques commerciales d'Intel Corporation ou de ses filiales. AMAX, AceleMax et LiquidMax sont des marques commerciales d'AMAX Engineering Corporation. Tous les autres noms de produits, logos et marques appartiennent à leurs propriétaires respectifs. Nous les utilisons uniquement pour identifier les produits que nous décrivons, fournissons ou prenons en charge ; leur utilisation ne signifie pas que leurs propriétaires nous cautionnent.

Accueil / Notes techniques / Technology
AIHardwareData Centre

NVIDIA RTX PRO 6000 Blackwell Server Edition en pratique : dimensionnement mémoire, MIG, topologie PCIe, réseau, alimentation, refroidissement et déploiement

Spécifications, dimensionnement des poids et du cache KV avec exemples chiffrés, MIG, topologie PCIe sans NVLink, réseau entre serveurs, alimentation et refroidissement au Royaume-Uni, pile logicielle, commandes de validation et plan de déploiement

10 novembre 2026Technology18 min read

Ce guide s’adresse aux ingénieurs qui vont spécifier, installer en baie et exploiter des systèmes RTX PRO 6000 Blackwell Server Edition : responsables d’infrastructure, équipes MLOps et plateforme, et les personnes qui valident le budget électrique. Il explique ce qu’est la carte, comment dimensionner la mémoire GPU pour de vrais modèles, MIG, la topologie PCIe et le réseau, l’alimentation et le refroidissement au Royaume-Uni, la pile logicielle, la validation d’un nouveau serveur et un plan de déploiement. Les spécifications proviennent de la page produit et de la fiche technique de NVIDIA ; la conception à l’échelle de la baie provient de la documentation RackScale 32 publiée par AMAX. Tout le reste relève de notre propre expérience d’ingénierie, et nous le précisons lorsqu’un chiffre est une estimation.

Vidéo NVIDIA RTX PRO 6000 Blackwell Server Edition sur la chaîne YouTube officielle de NVIDIA▶
NVIDIA RTX PRO : IA et calcul visuel sur la RTX PRO 6000 Blackwell Server Edition. Vidéo : NVIDIA Corporation. NVIDIA, RTX PRO et Blackwell sont des marques commerciales et/ou des marques déposées de NVIDIA Corporation.

1. La carte en un tableau

ÉlémentRTX PRO 6000 Blackwell Server Edition
ArchitectureNVIDIA Blackwell
Cœurs CUDA24 064
Tensor Cores752, cinquième génération, avec FP4, FP6, FP8, FP16, BF16 et TF32 et le Transformer Engine de deuxième génération
RT Cores188, quatrième génération ; 355 TFLOPS de performance RT de crête
Débit Tensor de crête (NVIDIA)FP4 4 PFLOPS · FP8 2 PFLOPS · FP16/BF16 1 PFLOPS · TF32 234 TFLOPS
FP32120 TFLOPS
Mémoire96 GB GDDR7 avec ECC, 512 bits, 1 597 GB/s
PartitionnementMIG, jusqu’à 4 instances isolées
Médias4 × NVENC (9e génération, ajoute l’encodage H.264 et HEVC 4:2:2), 4 × NVDEC (6e génération)
Affichage4 × DisplayPort 2.1
Interface hôtePCIe Gen 5 x16 ; pas de NVLink
AlimentationJusqu’à 600 W, configurable
FormatAir : double emplacement, pleine hauteur, pleine longueur, passive. Liquide : simple emplacement
SécuritéDémarrage sécurisé avec racine de confiance matérielle

Deux lignes de ce tableau déterminent la plupart des choix de conception : 96 GB à 1,6 TB/s, qui fixe la taille du modèle, la concurrence et la vitesse de décodage, et 600 W sur PCIe sans NVLink, qui fixe l’alimentation, le refroidissement et la manière de répartir le travail entre les GPU.

Une remarque sur les chiffres Tensor. NVIDIA publie des valeurs de crête ; le comparatif d’AMAX indique 3,7 PFLOPS en FP4 et 117 TFLOPS en FP32, ce qui reflète une hypothèse de fréquence ou de puissance différente. Considérez-les tous comme des plafonds. Pour l’inférence LLM avec de petites tailles de lot, c’est généralement la bande passante mémoire, et non le débit Tensor, qui limite le nombre de tokens par seconde.

2. Sa place dans la gamme NVIDIA

  • Face à la L40S : 96 GB de GDDR7 au lieu de 48 GB de GDDR6, 1 597 GB/s au lieu de 864 GB/s, PCIe Gen 5 au lieu de Gen 4, FP4 et MIG en plus, et 600 W au lieu de 350 W. D’après notre expérience, un modèle qui nécessitait deux cartes L40S pour la mémoire tient généralement sur une seule RTX PRO 6000.
  • Face aux HGX B200/B300 : les cartes HGX relient huit GPU par NVLink et embarquent de la HBM3E. Elles sont l’outil adapté à l’entraînement et aux très grands modèles qui exigent un parallélisme tensoriel sur huit GPU. La RTX PRO 6000 est l’outil adapté à l’inférence, au fine-tuning de modèles petits et moyens, au graphisme et à la simulation, dans des baies ordinaires refroidies par air.
  • Face aux Workstation Editions : la Workstation Edition possède ses propres ventilateurs pour une tour de bureau, et la Max-Q Workstation Edition fonctionne à 300 W. La Server Edition est passive : elle ne fonctionne donc que dans un serveur qui fait circuler l’air à travers elle, ou dans sa version à refroidissement liquide.

3. Dimensionner la mémoire GPU pour les LLM

C’est généralement la mémoire, et non la puissance de calcul, qui vient à manquer en premier. Dimensionnez-la en trois parties : poids, cache KV et surcharge.

3.1 Poids

Les poids occupent parameters × bytes per parameter :

Taille du modèleBF16 (2 octets)FP8 (1 octet)FP4 (environ 0,5 octet plus les facteurs d’échelle)
8B16 GB8 GBenviron 5 GB
32B64 GB32 GBenviron 18 GB
70B140 GB70 GBenviron 38 GB
120B240 GB120 GBenviron 65 GB

Les chiffres FP4 incluent une marge pour les facteurs d’échelle par bloc que stockent les formats 4 bits ; la surcharge exacte dépend du format et de l’outil qui a quantifié le modèle. Vérifiez toujours la précision sur votre propre jeu d’évaluation avant de passer un modèle de production en FP8 ou en FP4.

3.2 Cache KV

Chaque token de chaque conversation active conserve des clés et des valeurs pour chaque couche. Par token :

KV bytes per token = 2 × layers × kv_heads × head_dim × bytes per element

Pour un modèle de la classe Llama 3.3 70B (80 couches, 8 têtes KV avec attention à requêtes groupées, dimension de tête 128) avec un cache BF16 :

2 × 80 × 8 × 128 × 2 bytes = 327,680 bytes ≈ 320 KiB per token
× 32,768 tokens of context   ≈ 10 GiB per full-length conversation
FP8 KV cache                 ≈ 5 GiB per full-length conversation

3.3 Exemples chiffrés

Supposons que le serveur d’inférence puisse utiliser 90 % de chaque GPU (valeur par défaut de vLLM --gpu-memory-utilization) et que quelques GB par GPU servent aux activations et aux graphes CUDA. Ce sont des estimations pour la planification, pas des garanties :

ConfigurationMémoire utilisablePoidsReste pour le cache KVConversations complètes de 32k simultanées
70B FP8 sur 1 GPU≈ 86 GB≈ 70 GB≈ 12 GBenviron 1 (KV BF16) ou 2 (KV FP8)
70B FP4 sur 1 GPU≈ 86 GB≈ 38 GB≈ 44 GBenviron 4 (KV BF16) ou 8 (KV FP8)
70B FP8 sur 2 GPU, parallélisme tensoriel 2≈ 173 GB≈ 70 GB≈ 95 GBenviron 9 (KV BF16) ou 18 (KV FP8)
70B FP8, quatre répliques sur un serveur 4U à huit GPU≈ 691 GB≈ 280 GB≈ 380 GBenviron 35 (KV BF16) ou 70 (KV FP8)

La plupart des conversations sont bien plus courtes que 32k tokens, et les caches KV paginés ne conservent que ce qui est utilisé : la concurrence réelle est donc généralement plusieurs fois plus élevée. La méthode reste importante : dimensionnez à partir de vos longueurs de contexte réelles et de votre pic d’utilisateurs simultanés, et pas uniquement à partir du nombre de paramètres du modèle.

3.4 Débit, approximativement

Avec de petites tailles de lot, chaque token généré lit tous les poids une fois. Un plafond approximatif pour un flux unique est memory bandwidth ÷ weight bytes : 1 597 GB/s ÷ 70 GB ≈ 23 tokens/s pour un modèle 70B FP8 sur un GPU, et environ le double en FP4. Regrouper de nombreux utilisateurs dans un même lot porte le débit total bien au-delà du chiffre en flux unique, car les poids sont lus une fois par étape pour tout le lot. Mesurez vos propres prompts avec votre serveur d’inférence avant de vous engager sur un nombre de GPU.

4. MIG : une carte, jusqu’à quatre GPU

Le Multi-Instance GPU divise une carte en instances isolées, chacune avec sa propre mémoire, son propre cache et sa propre puissance de calcul, et une part garantie de la carte. Sur la RTX PRO 6000, cela signifie jusqu’à quatre instances d’environ 24 GB chacune. Usages typiques :

  • Plusieurs petits modèles (embeddings, rerankers, modèles de chat 7B–8B) sur une seule carte, chacun dans sa propre instance.
  • Des environnements de développement et de test pour plusieurs équipes sans qu’une équipe en prive une autre.
  • Des clusters Kubernetes où chaque pod doit recevoir une tranche fixe de GPU.

Les profils disponibles dépendent de la version du pilote : listez-les donc sur votre serveur plutôt que de copier des noms trouvés ailleurs :

# Enable MIG mode on GPU 0 (needs the GPU to be idle; may need a GPU reset)
sudo nvidia-smi -i 0 -mig 1

# List the GPU instance profiles this card and driver support
nvidia-smi mig -i 0 -lgip

# Create instances from a profile ID shown above, with their compute instances (-C)
sudo nvidia-smi mig -i 0 -cgi <profile-id>,<profile-id> -C

# Check what you created
nvidia-smi -L

Sur Kubernetes, le gestionnaire MIG du NVIDIA GPU Operator applique une disposition MIG à partir d’une étiquette de nœud, puis le device plugin annonce chaque instance comme une ressource planifiable. Choisissez la stratégie single lorsque tous les GPU d’un nœud utilisent la même disposition, et mixed lorsqu’elles diffèrent.

MIG a un coût : un modèle qui a besoin de toute la mémoire de la carte ne peut pas tourner dans un quart de celle-ci, et vous ne pouvez pas exécuter en même temps des tâches MIG et des tâches sur la carte entière sur le même GPU. Planifiez quels GPU sont partitionnés et lesquels ne le sont pas.

5. Serveurs et topologie PCIe

Une carte RTX PRO 6000 offre 96 GB et jusqu’à 600 W. Un serveur 2U accueille quatre cartes : 384 GB, environ 3 à 3,5 kW. Un serveur MGX 4U en accueille huit : 768 GB, environ 6 à 7 kW. Quatre de ces serveurs forment une baie de 32 GPU : environ 3 TB et 128 PFLOPS en FP4 ; prévoyez 25 à 30 kW.

5.1 Les trois configurations courantes

  • 2U, quatre GPU. Généralement un ou deux processeurs, avec les GPU sur des lignes directes du processeur ou un seul commutateur PCIe. Convient à un modèle avec un parallélisme tensoriel de 2 ou 4, ou à plusieurs répliques.
  • 4U, huit GPU sur NVIDIA MGX. MGX est la conception de référence modulaire de serveur de NVIDIA. L’AceleMax AXG-428AG d’AMAX en est un exemple : deux processeurs AMD EPYC 9005, huit GPU double emplacement, jusqu’à cinq emplacements PCIe Gen 5 x16 pour les cartes réseau et jusqu’à huit disques NVMe E1.S.
  • Une baie de 32 GPU. Quatre serveurs à huit GPU plus les commutateurs qui les relient. AMAX la publie sous le nom de RackScale 32 : 32 GPU RTX PRO 6000 Server Edition, EPYC 9005 bi-socket par serveur, jusqu’à environ 3 TB de GDDR7 (32 × 96 GB) et 128 PFLOPS en FP4 au total, avec Ethernet Spectrum-X ou Quantum InfiniBand. Elle est conçue pour être répétée baie après baie.

5.2 Pourquoi la topologie compte sans NVLink

Sans NVLink, les GPU échangent leurs données via PCIe. Deux GPU placés sous le même commutateur PCIe communiquent directement et rapidement ; deux GPU situés sur des sockets de processeur différents doivent traverser la liaison entre les sockets, ce qui est plus lent. Vérifiez la disposition sur n’importe quel serveur :

nvidia-smi topo -m

Dans la matrice, PIX ou PXB entre deux GPU signifie qu’ils partagent un chemin de commutateur PCIe ; NODE signifie qu’ils sont sur le même socket de processeur mais sur des ports racine différents ; SYS signifie que le trafic passe d’un socket à l’autre. Règles pratiques :

  • Placez les GPU d’un même groupe de parallélisme tensoriel sur le même commutateur, ou au moins sur le même socket. Un parallélisme tensoriel de 2 ou 4 est généralement l’optimum sur PCIe.
  • Pour davantage de GPU par modèle, préférez le parallélisme en pipeline entre groupes, ou exécutez plusieurs répliques derrière un répartiteur de charge. Les répliques évoluent de manière presque linéaire ; un parallélisme tensoriel large sur PCIe, non.
  • Placez chaque carte réseau sous le même commutateur PCIe que les GPU qu’elle dessert, afin que GPUDirect RDMA puisse transférer les données entre la mémoire GPU et le réseau sans passer par le processeur. Certaines conceptions récentes de serveurs RTX PRO intègrent cela en utilisant des SuperNIC NVIDIA ConnectX-8, qui comportent un commutateur PCIe.

6. Réseau entre serveurs

Un serveur isolé n’a besoin que d’un réseau de centre de données ordinaire. Dès qu’une charge de travail s’étend sur plusieurs serveurs, comme pour le fine-tuning distribué, les très grands modèles répartis entre nœuds ou un parc d’inférence partagé avec chargement rapide des modèles, le réseau devient déterminant.

  • Bande passante : prévoyez un port 400 Gb/s pour un ou deux GPU sur les serveurs qui exécutent des tâches multi-nœuds. Un serveur MGX à huit GPU équipé de quatre ou cinq cartes 400 Gb/s est une configuration courante.
  • Fabric : NVIDIA Spectrum-X Ethernet (commutateurs Spectrum-4 avec cartes réseau ConnectX ou BlueField, en RoCE) ou Quantum InfiniBand. Spectrum-X convient aux équipes qui exploitent déjà Ethernet ; InfiniBand convient aux équipes HPC qui en ont l’habitude.
  • Réseaux séparés : séparez la fabric GPU du réseau de stockage et du réseau d’administration (BMC et hors bande). Les mélanger est la cause habituelle de durées de tâches imprévisibles.
  • Stockage : NVMe E1.S ou U.2 local pour les poids des modèles et les données temporaires, et un système de fichiers parallèle ou NVMe-over-fabrics si de nombreux serveurs chargent les mêmes grands modèles.

Pour les parcs d’inférence où chaque requête s’exécute sur un seul serveur, 100 ou 200 Gb/s par serveur suffisent généralement.

7. Alimentation et refroidissement dans les salles au Royaume-Uni

7.1 Budget électrique

SystèmePuissance GPU à 600 WSystème complet, estimation
2U, 4 GPU2,4 kWenviron 3 à 3,5 kW
4U, 8 GPU4,8 kWenviron 6 à 7 kW
Baie, 32 GPU19,2 kWenviron 25 à 30 kW, hors commutateurs réseau et stockage

« Système complet » ajoute les processeurs, la mémoire, les disques, les cartes réseau, les ventilateurs et les pertes des alimentations. Utilisez le calculateur de puissance du constructeur pour la configuration exacte avant de finaliser un devis.

Au Royaume-Uni, une alimentation monophasée de 32 A en 230 V fournit environ 7,4 kW, assez pour un serveur à huit GPU avec peu de marge. Une baie de 32 GPU nécessite du triphasé : une alimentation triphasée de 32 A en 400 V fournit environ 22 kW ; prévoyez donc deux alimentations par baie, avec des voies A et B pour les blocs d’alimentation redondants. De nombreuses salles techniques existantes au Royaume-Uni sont conçues pour 5 à 10 kW par baie : la conception à 32 GPU implique donc généralement un site de colocation ou une mise à niveau de la salle.

7.2 Limites de puissance

La limite de puissance de la carte est configurable. L’abaisser sacrifie une partie des performances de crête, en échange de la possibilité de loger davantage de GPU avec la même alimentation et le même refroidissement. Le décodage LLM, limité par la bande passante mémoire, perd souvent moins que la puissance économisée, mais mesurez-le sur votre charge de travail.

# Show the allowed range and the current limit
nvidia-smi -q -d POWER

# Set GPU 0 to 450 W (must be inside the allowed range; resets at reboot)
sudo nvidia-smi -i 0 -pl 450

Appliquez la limite au démarrage avec une unité systemd ou votre outil de gestion de configuration, et consignez-la dans le registre des actifs afin que le personnel du support sache pourquoi un GPU fonctionne en dessous de son maximum.

7.3 Refroidissement

  • Chaque kilowatt devient environ 3 412 BTU/h de chaleur. Une baie de 30 kW dépasse ce que la plupart des salles refroidies par air évacuent par baie sans confinement ni échangeurs de chaleur en porte arrière.
  • La carte refroidie par air est passive : elle dépend des ventilateurs du serveur et d’un air d’entrée frais. Maintenez les températures d’entrée dans les limites du constructeur du serveur, utilisez des panneaux d’obturation et confinez les allées chaudes et froides.
  • La version simple emplacement à refroidissement liquide convient aux configurations denses lorsque le site dispose déjà d’un refroidissement liquide. Ce n’est pas une solution de mise à niveau pour une salle refroidie par air.

8. La pile logicielle

  1. Système d’exploitation : une distribution LTS actuelle prise en charge par le constructeur du serveur et par NVIDIA, comme Ubuntu Server 22.04 ou 24.04 LTS, ou Red Hat Enterprise Linux 9.
  2. Pilote : une branche de pilote NVIDIA pour centre de données qui prend en charge Blackwell. Les GPU Blackwell nécessitent les modules noyau GPU ouverts de NVIDIA, et CUDA 12.8 ou ultérieur.
  3. Conteneurs : le NVIDIA Container Toolkit, configuré pour votre runtime.
  4. Orchestration : le NVIDIA GPU Operator sur Kubernetes, ou Slurm pour le traitement par lots.
  5. Service des modèles : vLLM, SGLang, TensorRT-LLM ou les microservices NVIDIA NIM pour les LLM ; Omniverse et votre moteur de rendu pour le graphisme ; RAPIDS pour la science des données.
  6. Supervision : NVIDIA DCGM avec dcgm-exporter vers Prometheus et Grafana.
# Container runtime (Docker shown)
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Kubernetes: the GPU Operator from NVIDIA's Helm repository
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia && helm repo update
helm install --wait gpu-operator -n gpu-operator --create-namespace nvidia/gpu-operator

Un endpoint compatible OpenAI pour un modèle 70B sur deux GPU, avec des poids FP8 et un cache KV FP8 :

docker run --gpus '"device=0,1"' --ipc=host -p 8000:8000 \
  -v /models/hf:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model meta-llama/Llama-3.3-70B-Instruct \
  --tensor-parallel-size 2 \
  --quantization fp8 \
  --kv-cache-dtype fp8 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90

En production, épinglez l’image sur une version testée plutôt que latest, et conservez les poids du modèle sur un NVMe local pour que les redémarrages soient rapides.

9. Valider un nouveau serveur

Nous effectuons ces vérifications sur chaque système avant qu’il ne quitte l’atelier, puis à nouveau sur site :

# 1. Every GPU present, at the expected memory, power limit and PCIe link
nvidia-smi --query-gpu=index,name,memory.total,power.limit,pcie.link.gen.current,pcie.link.width.current --format=csv

# 2. ECC enabled and no uncorrectable errors
nvidia-smi -q -d ECC

# 3. Topology as designed (GPU and NIC pairs under the same switch)
nvidia-smi topo -m

# 4. NVIDIA's diagnostics, long run
dcgmi diag -r 3

# 5. GPU-to-GPU bandwidth inside the server (from NVIDIA's nccl-tests)
./build/all_reduce_perf -b 8 -e 4G -f 2 -g 8

Lancez ensuite un rodage de plusieurs heures à pleine charge, si possible avec la véritable charge d’inférence ou de rendu, en surveillant les températures, les fréquences et la puissance. Une carte qui réduit sa fréquence à l’atelier la réduira encore davantage dans une allée chaude.

Métriques DCGM utiles pour les alertes en production : DCGM_FI_DEV_GPU_TEMP, DCGM_FI_DEV_POWER_USAGE, DCGM_FI_DEV_FB_USED, DCGM_FI_DEV_GPU_UTIL et les événements d’erreur XID dans le journal système.

10. Un plan de déploiement

  1. Benchmark (1–2 semaines). Exécutez vos modèles et vos prompts sur un serveur RTX PRO 6000. Relevez les tokens par seconde, le délai avant le premier token et la mémoire, avec vos longueurs de contexte et votre concurrence réelles. Choisissez la précision (BF16, FP8 ou FP4) en fonction de la précision obtenue sur votre propre jeu d’évaluation.
  2. Dimensionnement et audit du site (1 semaine). Traduisez le benchmark en un nombre de GPU avec de la marge, puis vérifiez l’alimentation, le refroidissement, le réseau et l’espace en baie sur le site.
  3. Assemblage et rodage. Configuration identique pour chaque serveur : firmware, paramètres BIOS, pilote, limite de puissance et disposition MIG sous gestion de configuration.
  4. Pilote. Une équipe, un service, avec la supervision et une astreinte en place avant l’arrivée des utilisateurs.
  5. Montée en charge. Ajoutez des serveurs de même configuration. Passez à une fabric entre serveurs uniquement lorsqu’une charge de travail s’étend réellement sur plusieurs d’entre eux.

11. Questions qui nous sont posées

Peut-on mélanger des cartes RTX PRO 6000 et L40S dans un même serveur ? Techniquement oui, mais ne les placez pas dans le même groupe de parallélisme tensoriel. Gardez chaque modèle sur un seul type de GPU et utilisez l’ordonnanceur pour placer le travail.

Le FP4 est-il suffisant ? Pour de nombreux modèles instruct disposant de bons checkpoints 4 bits, oui ; pour certaines tâches, comme le code, les mathématiques et les longues chaînes de raisonnement, la précision baisse davantage. Testez sur vos propres données. Le FP8 est le choix par défaut sûr.

Peut-on faire du fine-tuning dessus ? Oui, pour le fine-tuning économe en paramètres (LoRA et QLoRA) de modèles petits et moyens, et pour le fine-tuning complet de modèles plus petits. Pour le fine-tuning complet de modèles de la classe 70B ou le pré-entraînement, les systèmes HGX avec NVLink sont plus adaptés.

Faut-il des licences particulières ? Le pilote et CUDA sont gratuits. NVIDIA AI Enterprise (qui inclut NIM) et le logiciel GPU virtuel de NVIDIA font l’objet de licences distinctes ; les piles open source comme vLLM n’en ont pas besoin.

Sources

  • NVIDIA : RTX PRO 6000 Blackwell Server Edition, spécifications
  • AMAX : RackScale 32 avec NVIDIA RTX PRO 6000 Blackwell Server Edition
  • AMAX : AceleMax AXG-428AG
  • AMAX : RTX PRO 6000 Blackwell Server Edition face à NVIDIA L40S

Pour l’argumentaire commercial et les systèmes que nous fournissons, consultez la page RTX PRO 6000 Blackwell Server Edition et notre article de blog.

Marques. NVIDIA, le logo NVIDIA, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, ConnectX, TensorRT, NIM et DCGM sont des marques commerciales et/ou des marques déposées de NVIDIA Corporation aux États-Unis et dans d’autres pays. AMAX et AceleMax sont des marques commerciales d’AMAX Engineering Corporation. AMD et EPYC sont des marques commerciales d’Advanced Micro Devices, Inc. Llama est une marque commerciale de Meta Platforms, Inc. Ubuntu est une marque commerciale de Canonical Ltd. Red Hat est une marque commerciale de Red Hat, Inc. Kubernetes est une marque commerciale de The Linux Foundation. Docker est une marque commerciale de Docker, Inc. Toutes les autres marques appartiennent à leurs propriétaires respectifs. Workstation est un fournisseur indépendant ; aucune approbation de la part de ces entreprises n’est sous-entendue. La vidéo appartient à NVIDIA.

Partager cet article

Plus dans Technology

Portables pour développeurs IA : exécuter des LLM en local sous Linux avec des GPU de 16 GB et 24 GB (guide 2026)

Portables pour développeurs IA : exécuter des LLM en local sous Linux avec des GPU de 16 GB et 24 GB (guide 2026)

Ce qui tient sur un GPU RTX 5080 ou RTX 5090 Laptop, le calcul de mémoire, les modèles ouverts qui valent la peine, la configuration d'Ubuntu 26.04 avec la pile NVIDIA, Ollama, llama.cpp et vLLM, les assistants de code, l'affinage LoRA, la sécurité, et quand passer le travail sur un serveur

Lire la suite
Tester des systèmes ML et LLM impossibles à prouver corrects : une boîte à outils Python d'éléments probants

Tester des systèmes ML et LLM impossibles à prouver corrects : une boîte à outils Python d'éléments probants

Des éléments probants à la place des preuves, en environ 400 lignes de Python avec une sortie réelle : métriques par segment avec intervalles bootstrap et contrat de réussite ou d'échec, tests de propriétés et métamorphiques avec Hypothesis, calibration et prédiction conforme, contrats Pydantic et évaluations de non-régression pour les sorties LLM, contrôles de dérive, barrière en CI et vérification exacte d'un petit réseau de neurones

Lire la suite
TorchCurves en pratique : courbes B-spline et de Legendre apprenables dans PyTorch

TorchCurves en pratique : courbes B-spline et de Legendre apprenables dans PyTorch

Installer torchcurves, ajuster et dimensionner une courbe, choisir entre B-spline et Legendre ainsi que l’application d’entrée, construire une courbe de calibration monotone et un modèle additif sur des données tabulaires, comparer avec SciPy, scikit-learn, un KAN et un MLP, exporter les coefficients en JSON, tester et exploiter en production, avec des sorties réelles

Lire la suite