Energie zuerst: Wie Workstation KI-Infrastruktur plant
Strom, Wärme und der Raum kommen vor der GPU-Bestellung. So dimensionieren wir einen Schreibtisch, ein Rack oder eine Halle.
Die GPUs sind die letzte Entscheidung. Zuleitung, Wärme und Boden bestimmen, was Sie einschalten können. Workstation plant KI-Infrastruktur in genau dieser Reihenfolge: den Strom finden, die Kühlung auslegen und dann die Maschinen kaufen, die passen.
Sechs Vorteile, wenn man mit der Energie beginnt
- Schneller zum ersten Token. Stromplanung und Maschinenliste entwickeln sich gemeinsam. Sie warten nicht zwölf Wochen auf einen Server, um dann festzustellen, dass der Raum nur einen freien 3-kW-Stromkreis hat. Der KI-Rechenzentrumsplaner fragt nach dem Standort, bevor er eine Stufe vorschlägt.
- Skalierung, die zum Gebäude passt. Dieselbe Methode gilt für einen Schreibtisch, einen Teamserver, eine Rackreihe oder eine Halle. Die Kilowatt ändern sich. Die Reihenfolge der Fragen nicht.
- Eine niedrigere Rechnung für die Arbeit, die Sie tatsächlich ausführen. Eine ungenutzte GPU verursacht trotzdem Kapitalkosten, und eine GPU, die Sie nicht mit Strom versorgen können, ist nur noch Kapitalkosten. Die richtige Dimensionierung sorgt dafür, dass sowohl der Energie- als auch der Hardwareposten ehrlich bleiben.
- Mehr Arbeit pro Watt, wo die Hardware es zulässt. Neuere Systeme erzeugen bei gleicher Leistungsaufnahme mehr Tokens. NVIDIA veröffentlicht diese Vergleiche. Wir nutzen sie, um eine Generation auszuwählen. Wir behandeln einen Spitzen-FLOPS-Wert nicht als Ihre Stromrechnung.
- Der Standort wird nach dem Strom gewählt, nicht umgekehrt. Ein Büro, eine Colocation-Halle oder ein erschlossenes Grundstück. Wenn das Gebäude die Last nicht tragen kann, sagen wir das vor der Bestellung.
- Ein Mix, abgestimmt auf die Aufgabe. Luft, wo der Raum es verträgt. Rücktür-Wärmetauscher, wo die Reihe dicht bestückt ist. Direkte Flüssigkeitskühlung nur, wenn die Plattform sie erfordert. Auf Ihrer Fläche, in einer Halle oder als private GPU-Cloud, wenn Sie die Kapazität brauchen, ohne das Umspannwerk zu bauen.
Richtwerte für Leistungsbereiche
| Stufe | Richtwert Leistung | Was üblicherweise passt |
|---|---|---|
| Schreibtisch | 0,3 bis 1 kW | Ein DGX Spark oder ein Mac Studio für ein Pilotprojekt |
| Team | 1,5 bis 3 kW | Ein oder zwei RTX-PRO-6000-Workstations oder eine DGX Station |
| Rack | 6 bis 20 kW | GPU-Server in einem bereits vorhandenen Rack, mit Einhausung, wenn die Reihe dicht bestückt ist |
| Pod | 40 bis 130 kW | Mehrere Systeme mit acht GPUs, Speicher und eine Fabric. Oft eine Colocation-Fläche, kein Abstellraum |
| Fabrik | 0,5 bis 5 MW | Rack-Scale-Systeme. Strom, Wasser und Bodenbelastbarkeit sind das eigentliche Projekt |
Diese Bereiche sind Planungswerte, weder ein Angebot noch eine Messung Ihres Gebäudes. Der Planer nutzt sie, um zu verhindern, dass ein Briefing für Frontier-Training auf einem Schreibtisch landet und dass ein Pilot-Briefing zu einem Megawatt-Design anwächst.
Der Energieposten, einmal durchgerechnet
NVIDIA gibt die Nennleistung des luftgekühlten DGX B300 mit etwa 14 kW an. Läuft er ein Jahr lang mit dieser Leistungsaufnahme, ergibt sich 14 kW mal 8.760 Stunden, also 122.640 kWh vor Berücksichtigung der Power Usage Effectiveness. Die PUE multipliziert den gesamten Posten: Wenn die Halle am Zähler 1,3 kWh für jede 1 kWh IT-Last verbraucht, beträgt der Energieverbrauch des Standorts etwa 159.000 kWh. Ihr Tarif, Ihre Auslastung und Ihre PUE verändern die Rechnung. Ein System, das im Durchschnitt die Hälfte dieser Leistung aufnimmt, kostet etwa die Hälfte der Energie.
Vier dieser Systeme in einem Rack entsprechen der Dichte, die NVIDIAs B300-SuperPOD-Referenz mit etwa 56 kW angibt. Viele Unternehmensräume wurden für einen Bruchteil davon gebaut. Bei der Standortbegehung wird aus dieser Tatsache ein Design oder ein Grund, den Workload zu verlagern.
Die Kühlung folgt den Watt
- Luft für RTX-PRO-Server und für Systeme mit acht GPUs, wenn die Reihe die Wärme abführen kann. Ein Server mit vier GPUs hat einige Kilowatt. Ein luftgekühltes System mit acht GPUs bei knapp 14 kW benötigt PDUs für hohe Dichte und in der Regel eine Einhausung.
- Rücktür-Wärmetauscher, wenn das Luftvolumen des Raums die Grenze ist und die Plattform noch luftgekühlt ist.
- Direkte Flüssigkeitskühlung für Racks der NVL72-Klasse. GPUs und CPUs sitzen auf Kühlplatten. Das bedeutet einen Wasserkreislauf im Gebäude, Kühlmittelverteilung und Leckerkennung, keinen zusätzlichen Lüfter.
Wir spezifizieren keine Flüssigkeitskühlung, damit ein Diagramm modern aussieht. Wir spezifizieren sie, wenn die Plattform sie erfordert oder wenn die Luft den Raum nicht verlassen kann.
Wie die Beratung abläuft
- Standortbegehung. Eingehende Stromversorgung, freie Kapazität, Bodenbelastbarkeit, der Anlieferweg für ein 10U-System auf einer Palette, die bereits vorhandene Kühlung im Raum und die Stelle, an der das Netzwerk ins Gebäude kommt.
- Strombudget. Kilowatt pro Rack, PDU-Anordnung, USV- und Generatorabdeckung und die Reserve, die auf der Zuleitung verbleiben soll.
- Wahl der Kühlung. Luft, Rücktür oder Flüssigkeit, so dokumentiert, dass ein Vermieter oder ein Colocation-Anbieter zustimmen kann.
- Beschaffung innerhalb dieser Obergrenze. Neue oder aufbereitete GPU-Server von NVIDIA und AMD, Speicher und Netzwerk, nur in Mengen, die das Strombudget betreiben kann. Systeme, die nur auf Anfrage erhältlich sind, wie HGX B200 und NVL72, bleiben auf Anfrage. Shop-Systeme haben Live-Preise.
- Aufbau, 72 Stunden Burn-in, Übergabe. Das Rack wird unter Last getestet, bevor Sie den Betrieb übernehmen. Zuerst die NDA, bevor Standortzeichnungen oder eine Chargenliste ausgetauscht werden.
Für Betreiber und Teams, die eigene Kapazität aufbauen, umfasst dieser Umfang auch den Standorterwerb: erschlossene Grundstücke, verfügbare Megawatt oder Colocation. Für ein Unternehmen, das die GPUs ohne das Umspannwerk möchte, mündet dieselbe Dimensionierung in eine private GPU-Cloud. Ein Gespräch deckt beides ab. Beginnen Sie mit dem Planer oder sprechen Sie mit einem Ingenieur.
Was wir nicht in eine Broschüre schreiben
- Ein Versprechen von Strom unter dem Marktpreis. Wir planen die Last. Wir verkaufen Ihnen keinen Tarif, den wir nicht kalkuliert haben.
- Einen Megawatt-Campus in einer festen Anzahl von Wochen. Die Lieferzeit richtet sich nach den Arbeiten vor Ort. Der Fabrikbereich des Planers liegt als Richtwert bei 16 bis 40 Wochen, und eine Standortbegehung kann ihn verschieben.
- Ein Ökostromzertifikat, präsentiert, als hätte Workstation den Strom erzeugt. Wenn Sie einen Abgleich mit erneuerbarer Energie benötigen, ist das ein Liefervertrag mit Ihrem Energieversorger, getrennt von der Hardware ausgewiesen.
- Spitzenleistung, die als gemessene Energieeinsparung dargestellt wird. NVIDIAs Angaben zum Durchsatz pro Megawatt sind NVIDIAs Angaben. Ihr Workload entscheidet, was Sie erhalten.
Quellen
- Workstation: KI-Rechenzentrumsplaner
- Workstation: Leitfaden für NVIDIA-KI-Rechenzentren, einschließlich des 14-kW-Beispiels und des Energiepostens bei den Kosten pro Token
- Workstation Shop: NVIDIA DGX B300 (Preis und Lieferzeit auf Anfrage)
- NVIDIA: DGX B300
Marken. NVIDIA, DGX und NVL72 sind Marken der NVIDIA Corporation. AMD ist eine Marke von Advanced Micro Devices, Inc. Die Leistungsbereiche sind Planungswerte von Workstation. Der Wert von 14 kW ist NVIDIAs Systemnennleistung für den DGX B300 und dient hier als Beispiel, nicht als Messung am Standort eines Kunden.