Services de centre de données IA : comment Workstation conçoit, construit et livre
Site, alimentation, refroidissement, fabric, GPU, stockage et logiciel, d'un rack pilote à une salle entière, avec un rodage de 72 heures avant que vous ne l'exploitiez.
Un centre de données IA n'est pas une salle serveurs équipée de cartes plus rapides. L'alimentation, la chaleur et le réseau doivent être conçus pour les GPU, faute de quoi les GPU restent inactifs. Workstation prend en charge tout le parcours : le site, les kilowatts, le refroidissement, la fabric, les machines, le logiciel et une remise que vous pouvez exploiter.
L'article associé, L'énergie d'abord, traite du budget énergétique. Celui-ci présente le service qui l'entoure.
Conçu pour le GPU, et non adapté après coup
Une rangée d'entreprise traditionnelle a été construite pour des serveurs qui consomment un ou deux kilowatts. Un système à 8 GPU refroidi par air, comme le DGX B300 de NVIDIA, est annoncé à environ 14 kW. Quatre d'entre eux dans un rack représentent environ 56 kW selon la référence B300 de NVIDIA. Les systèmes NVL72 à l'échelle du rack sont refroidis par liquide par conception. Si la salle ne peut pas évacuer cette chaleur, ou si l'arrivée électrique ne peut pas la fournir, la spécification du devis relève de la fiction.
La conception part donc à la fois de la charge de travail et du bâtiment.
- Un refroidissement adapté à la plateforme. L'air lorsque la salle le permet. Un échangeur de chaleur en porte arrière lorsque la rangée est dense mais que les machines sont encore refroidies par air. Le liquide direct, avec une boucle d'eau et une détection des fuites, lorsque la plateforme exige des plaques froides.
- Une fabric qui n'affame pas les GPU. Des adaptateurs ConnectX-7 et ConnectX-8, jusqu'à 800 Gb/s, BlueField-3 pour le stockage et la gestion, Spectrum Ethernet ou Quantum InfiniBand entre les nœuds. Le réseau fait partie de la machine, ce n'est pas une mise à niveau ultérieure.
- Une alimentation chiffrable. Kilowatts par rack, couverture par onduleur et groupe électrogène, et marge restante sur l'arrivée électrique. Nous ne vendons pas de projet de production d'électricité. Nous planifions la charge dont le site dispose déjà, ou la suite en colocation ou le terrain raccordé qu'il vous reste à sécuriser.
Ce que nous faisons concrètement
Site
Trois endroits où un cluster peut s'installer. Une salle dont vous disposez déjà, si l'alimentation et la charge au sol sont réelles. Une salle de colocation, lorsque le bâtiment est la contrainte et que les données doivent tout de même rester dans un lieu connu. Un terrain raccordé ou un mégawatt disponible, lorsque vous êtes l'opérateur et que la salle n'existe pas encore. Nous vous aidons à acquérir cette capacité. Nous vous disons aussi quand la salle que vous espériez utiliser ne peut pas accueillir les machines.
Alimentation et capacité
Le planificateur de centre de données IA utilise des tranches indicatives pour qu'un pilote ne se transforme pas par accident en conception de plusieurs mégawatts : moins de 1 kW sur un bureau, 1,5 à 3 kW pour une équipe, 6 à 20 kW pour un rack, 40 à 130 kW pour un pod et 0,5 à 5 MW pour une usine. Ce sont des plages de planification. L'étude les remplace par votre arrivée électrique. Un exemple chiffré figure dans le guide du centre de données IA : un DGX B300 à sa puissance nominale de 14 kW représente 122 640 kWh par an à pleine consommation, avant l'indicateur d'efficacité énergétique.
Refroidissement
Le refroidissement liquide est préconisé lorsque la plateforme l'exige, ou lorsque l'air ne peut pas quitter la salle. Il n'est pas préconisé pour donner un air plus moderne à une proposition. Le liquide en circuit fermé, où le liquide de refroidissement reste dans le circuit du rack et évacue la chaleur au niveau d'un refroidisseur, est un moyen d'augmenter la densité sans reconstruire toute la salle. Il nécessite tout de même une conception, un plan en cas de fuite et un propriétaire prêt à le signer.
Calcul
Approvisionné selon votre spécification, neuf ou reconditionné après vérification. GPU de centre de données à refroidissement passif, notamment H100, L40S et RTX PRO Blackwell Server Edition. Systèmes complets : serveurs 4U à 8 GPU, HGX B200 sur devis, DGX Station et DGX Spark. Si vous renouvelez une ancienne génération à 8 GPU, nous replaçons le matériel sortant en plus de fournir le suivant. La provenance, l'état et la garantie sont vérifiés avant qu'un lot ne soit proposé. Lorsque nous partageons un lot disponible, nous représentons notre client.
Stockage
Les données chaudes sur des nœuds entièrement NVMe, notamment des serveurs 2U à 24 baies et des disques PCIe 5.0, et les données plus froides sur de grands disques d'entreprise. Les jeux d'entraînement, les points de contrôle et les corpus de récupération n'ont pas leur place sur les disques de démarrage du serveur GPU.
Réseau
Les adaptateurs, les DPU et les commutateurs mentionnés ci-dessus, dimensionnés en fonction du nombre de GPU plutôt que copiés sur le réseau de bureau de l'année dernière. Une fabric en retard d'une génération sur les GPU se manifeste par des accélérateurs inactifs, et non par une LED de commutateur lente.
Mémoire, CPU et le reste de la machine
Mémoire DDR5 ECC registered et les CPU attendus par la plateforme, notamment Threadripper PRO et EPYC lorsqu'il s'agit du bon hôte. Mises à niveau des machines que vous possédez déjà, lorsque le châssis et le budget énergétique le permettent.
Logiciel
Système d'exploitation, pilotes pour centre de données, container toolkit et NVIDIA AI Enterprise lorsque le déploiement nécessite la pile prise en charge. La remise comprend une machine qui exécute vos modèles, et non une palette accompagnée d'une liste de colisage.
Installation et rodage
Installation sur site, puis rodage de 72 heures sur chaque rack que nous installons. L'objectif du rodage est de faire défaillir une alimentation, une barrette DIMM ou un GPU sur notre temps, pas sur le vôtre.
La rapidité, sans prétendre que le réseau électrique évolue du jour au lendemain
Un seul partenaire est plus rapide qu'une chaîne composée d'un agent immobilier, d'un bureau d'études techniques, d'un revendeur et d'un installateur distinct qui n'ont jamais lu les plans les uns des autres. Exigences, NDA mutuel, KYC standard, puis des options adaptées à la spécification, au budget et à la date. Telle est la séquence. Elle supprime les transferts entre intervenants. Elle ne supprime pas un poste de transformation.
L'indication de délai du planificateur va d'environ une semaine pour un système de bureau à 16 à 40 semaines pour une conception à l'échelle d'une usine. Une étude peut modifier ces chiffres. Les plateformes sur devis uniquement, notamment HGX B200 et NVL72, restent sur devis, car l'allocation et les travaux sur site déterminent la date. Les systèmes de l'AI Shop affichent des prix en temps réel.
La croissance modulaire est la manière dont la plupart de nos clients se développent réellement. Validez la charge de travail sur un serveur. Ajoutez la même configuration lorsque l'arrivée électrique le permet. Une configuration homogène est plus facile à refroidir, à maintenir en pièces de rechange et à exploiter qu'une rangée de machines toutes différentes.
Quand il ne faut pas construire la salle
Si les données peuvent résider dans un lieu connu et que la contrainte est le bâtiment, un cloud GPU privé représente le même exercice de dimensionnement sans le poste de transformation. Il faut toujours une réponse en matière d'alimentation et de refroidissement. Elle relève de la salle que vous louez, et nous dimensionnons toujours les GPU en conséquence.
Si vous disposez de serveurs GPU excédentaires, nous vous aidons à les placer auprès d'acheteurs vérifiés. C'est une conversation distincte d'une nouvelle construction, et elle commence par le même NDA.
Ce que ce service n'est pas
- Pas une centrale électrique. Nous ne développons pas de production d'électricité, et nous ne chiffrons pas de géothermie, de nucléaire ou de centrale à gaz comme si Workstation était le fournisseur d'énergie. Votre contrat d'énergie reste chez votre fournisseur. Nous vous indiquons les kilowatts dont la conception a besoin.
- Pas une liste de stock. Les machines découlent de l'étude. Si le seul système qui convient est plus petit que celui du cahier des charges, c'est celui-là que nous recommandons.
- Pas un calendrier de campus figé. Quelques mois est réaliste pour un rack dans une salle capable de l'accueillir. Une nouvelle salle dépend de l'alimentation, des autorisations et de l'installation de refroidissement.
- Pas une brochure de FLOPS de pointe. Les chiffres de débit de NVIDIA sont ceux de NVIDIA. Nous dimensionnons à partir de vos modèles, de vos utilisateurs et de votre arrivée électrique.
Comment commencer
- Répondez aux sept questions du planificateur. Vous obtenez un profil, un niveau et une indication du budget, de la puissance et du délai. Aucune inscription requise.
- Ou envoyez-nous le site et la charge de travail : alimentation entrante, modèles, nombre d'utilisateurs, et si les machines doivent rester dans une salle que vous désignez.
- Nous signons un NDA avant tout échange de plans ou de liste de lots, puis procédons au KYC, puis vous remettons un ensemble d'options par écrit.
Sources
- Workstation : solutions de centre de données IA
- Workstation : l'énergie d'abord
- Workstation : guide du centre de données IA NVIDIA
- NVIDIA : DGX B300
Marques commerciales. NVIDIA, DGX, NVL72, ConnectX, BlueField, Spectrum et Quantum sont des marques commerciales de NVIDIA Corporation. AMD, Threadripper et EPYC sont des marques commerciales d'Advanced Micro Devices, Inc. Le chiffre de 14 kW est la puissance nominale du DGX B300 indiquée par NVIDIA, utilisée à titre d'exemple. Les tranches de puissance et les délais sont des plages de planification de Workstation, remplacées par une étude avant tout devis.