Der Shop ist online

Wir bauen Workstation AI-Maschinen für Websites, KI-Agenten und LLM-Training – online konfigurieren und kaufen.

Händlerpreise erhalten
KI-Produkte
KI-LabsOpenAI-AgentenClaude-AgentenGrok-BotWorkstation AI-natives CRMMarketingAlle Produkte
KI-Lösungen
Angewandte KIKI-AgentenGenerative KIKI-AutomatisierungKI-WeiterbildungKI-Pakete für KMUEnterprise AI LabKI-WorkstationsNVIDIA-Hardware & -SoftwareNVIDIA Accelerated ComputingPrivate KIGPU-Private-CloudGPU-ClusterEdge-KIKI nach Branche
KI-Services
PlattformmodernisierungDigital EngineeringDatengrundlagen & KIAutonomer BetriebKI-BeratungDevOps-AutomatisierungCybersicherheitSoftwareentwicklungAgentenentwicklungMLOps-EinrichtungGPU-LeasingGPU-Private-Cloud
Über uns
UnternehmenUnsere GeschichtePartnerKundengeschichten
KI-Rechenzentren
KI-RechenzentrenGPU-Private-CloudGPU-ClusterGPU-Leasing
KI-EinblickeJev-ReiheBenchmark LabModellauswahl
Technische Hinweise
Dokumentation
Linux-BetriebssystemeUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
KI-Cloud-PlattformenAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryGPU-Clouds & Marktplätze
Private KI-RechenzentrenFür AnwaltskanzleienFür Steuer- und WirtschaftsprüfungskanzleienOn-Premises-PlattformenVollständig abgesicherte Cloud
ToolsRing PromoterJobshout
News
Blog
KontaktAnmelden

KI-Workstations, Multi-Agenten-KI-Software, GPU-Infrastruktur und intelligente Agentenlösungen für moderne Unternehmen.

Kontakt

KI-Lösungen

Angewandte KIKI-AgentenGenerative KIKI-AutomatisierungKI-WeiterbildungKI-Pakete für KMUEnterprise AI LabKI nach Branche

Produkte

Alle ProdukteWorkstation AI-natives CRM & ERPMarketingOpenAI-AgentenRing PromoterJobshout

Unternehmen

Über unsUnternehmenKI-RechenzentrenWarum WorkstationPartnerKundengeschichtenPreiseKontaktTenthMatrix

Ressourcen

KI-EinblickeTechnische HinweiseDokumentationLinux-BetriebssystemeKI-Cloud-PlattformenPrivate KI-RechenzentrenBlogSucheSitemap
Büro Belgien
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683Mo – Fr: 9:00 – 18:00 Uhr MEZ
+32 492 45 67 46
Hauptsitz Großbritannien
77-79 Marlowes, Hemel Hempstead HP1 1LFAnfahrt – Ausfahrt 20 der M25 (Outer London)Handelsregisternr.: 11641870Mo – Fr: 9:00 – 18:00 Uhr GMT
+44 7515 356 146
Büro Indien
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841
Büro Taiwan
3F, No. 2-4, Aisi Rd., Ren'ai Dist., Keelung City 200, Taiwan基隆市仁愛區愛四路2之4號3樓Mo – Fr: 9:00 – 18:00 Uhr Taiwan-Zeit (GMT+8)
+886 926 892 701+32 492 45 67 46
Büro Estland
Aleksander Puškini tn 30-25, 20306 Narva, EstoniaMo - Fr: 9:00 - 18:00 Uhr estnischer Zeit (EET)
+32 492 45 67 46

© 2026 Workstation AI. Alle Rechte vorbehalten.

DatenschutzDatenlöschungCookiesNutzungsbedingungenWebsite-Sitemap

NVIDIA, das NVIDIA-Logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX und HGX sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den USA und anderen Ländern. AMD, das AMD-Arrow-Logo, EPYC, Instinct, Ryzen und Threadripper sind Marken von Advanced Micro Devices, Inc. Dell und PowerEdge sind Marken der Dell Inc. oder ihrer Tochtergesellschaften. Intel und Xeon sind Marken der Intel Corporation oder ihrer Tochtergesellschaften. AMAX, AceleMax und LiquidMax sind Marken der AMAX Engineering Corporation. Alle anderen Produktnamen, Logos und Marken sind Eigentum ihrer jeweiligen Inhaber. Wir verwenden sie ausschließlich, um die Produkte zu kennzeichnen, die wir beschreiben, liefern oder unterstützen; ihre Verwendung bedeutet nicht, dass ihre Inhaber uns empfehlen.

Startseite / Technische Hinweise / Technology
NVIDIAGPUDockerKubernetes

Den NVIDIA Container Toolkit installieren: Docker, containerd, CRI-O, Podman und Kubernetes

Installieren Sie den Toolkit mit apt, dnf oder zypper, konfigurieren Sie jede Container-Engine, nutzen Sie CDI, testen Sie den GPU-Zugriff und beheben Sie die Fehler, auf die Sie stoßen werden, mit Hinweisen für den Betrieb in einer ganzen Flotte.

12. November 2026Technology14 min read

Diese Technote richtet sich an Ingenieure, die GPUs in Containern benötigen: Plattform- und MLOps-Teams, Kubernetes-Administratoren und alle, denen ein neuer GPU-Server übergeben wurde mit der Bitte, Docker darauf zum Laufen zu bringen. Sie behandelt, was der NVIDIA Container Toolkit leistet, wie man ihn auf Debian-, Ubuntu-, RHEL- und SUSE-Systemen installiert, wie man Docker, rootless Docker, containerd, nerdctl, CRI-O und Podman konfiguriert, wie man ihn testet und was schiefgehen kann. Die Befehle folgen der Installationsanleitung von NVIDIA für Toolkit-Version 1.20.1, das zum Zeitpunkt der Erstellung aktuelle Release. Die Erklärungen, Prüfungen, Fehlerbehebungen und Flottenhinweise stammen von uns, aus dem Bau und Support von GPU-Servern.

Inhalt

  1. Was der Toolkit leistet
  2. Bevor Sie beginnen
  3. Installation unter Ubuntu und Debian (apt)
  4. Installation unter RHEL, Rocky, Fedora und Amazon Linux (dnf)
  5. Installation unter openSUSE und SLES (zypper)
  6. Versionen fixieren und Upgrades planen
  7. Docker konfigurieren
  8. Rootless Docker konfigurieren
  9. containerd für Kubernetes konfigurieren
  10. nerdctl
  11. CRI-O konfigurieren
  12. Podman und das Container Device Interface (CDI)
  13. Die eigenen Einstellungen des Toolkits sicher ändern
  14. GPU-Zugriff in einem Container testen
  15. Fehlerbehebung
  16. Betrieb in einer ganzen Flotte
  17. Wie Workstation helfen kann

1. Was der Toolkit leistet

Ein Container-Image sollte keinen GPU-Treiber enthalten. Der Treiber ist an das Kernelmodul auf dem Host gebunden, und ein für eine Treiberversion gebautes Image würde mit der nächsten nicht mehr funktionieren. Der NVIDIA Container Toolkit löst das: Wenn ein Container eine GPU anfordert, findet der Toolkit die Treiberbibliotheken, Geräteknoten und Hilfsprogramme des Hosts, etwa nvidia-smi, und bindet sie unmittelbar vor dem Start in den Container ein. Das Image benötigt nur die CUDA-User-Space-Bibliotheken, mit denen die Anwendung gebaut wurde.

Der Toolkit ist ein kleiner Satz von Paketen, die zusammenarbeiten:

Paket oder ToolWas es leistet
libnvidia-container1 und libnvidia-container-toolsDie Bibliothek und das CLI, die die Treiberkomponenten auf dem Host finden und im Container einrichten.
nvidia-container-toolkit-baseDie nvidia-container-runtime, ein schlanker Wrapper um runc (oder crun), der die GPU-Einrichtung zur Container-Spezifikation hinzufügt, sowie der Befehl nvidia-ctk.
nvidia-container-toolkitDer Hook, den Container-Engines beim Start eines Containers aufrufen, plus alles oben Genannte als Abhängigkeiten.
nvidia-ctkDer Befehl, mit dem Sie Container-Engines konfigurieren, die Einstellungen des Toolkits bearbeiten und CDI-Spezifikationen erzeugen.

Sie benötigen den CUDA Toolkit auf dem Host nicht. Der Host benötigt den NVIDIA-Treiber; die CUDA-Version steckt im Container-Image. Die einzige Regel lautet, dass der Host-Treiber neu genug für die CUDA-Version im Image sein muss. Ein neuerer Treiber führt Images aus, die für ältere CUDA-Versionen gebaut wurden.

2. Bevor Sie beginnen

  • Eine unterstützte Distribution. NVIDIA veröffentlicht die Liste der unterstützten Plattformen. In der Praxis: aktuelle Ubuntu-LTS- und Debian-Releases, RHEL und seine Nachbauten (Rocky, AlmaLinux), Fedora, Amazon Linux, openSUSE und SLES, auf x86_64 oder arm64.
  • Ein funktionierender NVIDIA-Treiber. Installieren Sie ihn, wie von NVIDIA empfohlen, über den Paketmanager Ihrer Distribution oder mit dem .run-Installer von NVIDIA. Prüfen Sie ihn, bevor Sie weitermachen:
    $ nvidia-smi
    Wenn hier Ihre GPUs nicht aufgeführt werden, halten Sie an und beheben Sie zuerst das Treiberproblem. Ohne Treiber kann der Toolkit nicht funktionieren. Auf Servern mit Secure Boot muss das Kernelmodul signiert sein, sonst wird der Treiber zwar installiert, aber nicht geladen.
  • Eine Container-Engine für die Konfigurationsschritte: Docker, containerd, CRI-O oder Podman. Sie können zuerst den Toolkit und danach die Engine installieren.
  • Root- oder sudo-Zugriff und ausgehendes HTTPS zu nvidia.github.io oder, an Air-Gapped-Standorten, ein lokaler Spiegel des NVIDIA-Repositorys.

Ein bekanntes Problem, das Sie einplanen sollten. Auf Hosts, deren Container-Engine den cgroup-Treiber systemd nutzt, kann das Ausführen von systemctl daemon-reload dazu führen, dass laufende Container den Zugriff auf ihre GPUs verlieren. Sie melden dann Failed to initialize NVML: Unknown Error. Paket-Upgrades lösen häufig einen Daemon-Reload aus, daher tritt das Problem oft erst Tage nach der Installation auf. Die Fehlerbehebungsanleitung von NVIDIA behandelt es; die üblichen Lösungen sind, CDI zu verwenden (Abschnitt 12) oder die /dev/char-Symlinks anzulegen, die die Treibergeräte benötigen:

$ sudo nvidia-ctk system create-dev-char-symlinks --create-all

3. Installation unter Ubuntu und Debian (apt)

Diese Schritte funktionieren auf den meisten von Debian abgeleiteten Distributionen.

Schritt 1: die für die Repository-Einrichtung benötigten Tools installieren.

$ sudo apt-get update && sudo apt-get install -y --no-install-recommends \
      ca-certificates curl gnupg2

Schritt 2: den Signaturschlüssel von NVIDIA und das Produktions-Repository hinzufügen. Der Schlüssel kommt in einen eigenen Keyring, und das Repository wird mit signed-by darauf beschränkt, sodass dieser Schlüssel keine Pakete aus anderen Repositorys signieren kann.

$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

NVIDIA veröffentlicht außerdem einen experimentellen Kanal. Lassen Sie ihn auf Produktivmaschinen deaktiviert; um ihn zum Testen zu aktivieren, entfernen Sie das Kommentarzeichen:

$ sudo sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list

Schritt 3: die Paketlisten aktualisieren.

$ sudo apt-get update

Schritt 4: die vier Pakete in einer einheitlichen Version installieren. Durch die Angabe der Version bleiben alle Hosts einer Flotte identisch, und die vier Pakete bleiben untereinander im Gleichschritt.

$ export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
$ sudo apt-get install -y \
    nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Prüfen Sie, was Sie installiert haben:

$ nvidia-ctk --version

4. Installation unter RHEL, Rocky, Fedora und Amazon Linux (dnf)

Diese Schritte funktionieren auf den meisten RPM-basierten Distributionen, die dnf verwenden.

Schritt 1: sicherstellen, dass curl vorhanden ist.

$ sudo dnf install -y curl

Schritt 2: das Produktions-Repository hinzufügen.

$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

Um experimentelle Pakete auf einer Testmaschine auszuprobieren:

$ sudo dnf config-manager --enable nvidia-container-toolkit-experimental

Schritt 3: die Pakete in einer einheitlichen Version installieren. Beachten Sie, dass dnf Name und Version mit einem Bindestrich verbindet, nicht mit einem Gleichheitszeichen.

$ export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
$ sudo dnf install -y \
    nvidia-container-toolkit-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    nvidia-container-toolkit-base-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    libnvidia-container-tools-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    libnvidia-container1-${NVIDIA_CONTAINER_TOOLKIT_VERSION}

dnf fordert Sie beim ersten Mal auf, den Signaturschlüssel von NVIDIA zu akzeptieren. Prüfen Sie den Fingerabdruck anhand des von NVIDIA veröffentlichten Schlüssels, bevor Sie ihn akzeptieren.

5. Installation unter openSUSE und SLES (zypper)

Schritt 1: das Produktions-Repository hinzufügen.

$ sudo zypper ar https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo

Um experimentelle Pakete auszuprobieren:

$ sudo zypper modifyrepo --enable nvidia-container-toolkit-experimental

Schritt 2: die Pakete in einer einheitlichen Version installieren.

$ export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
$ sudo zypper --gpg-auto-import-keys install -y \
    nvidia-container-toolkit-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    nvidia-container-toolkit-base-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    libnvidia-container-tools-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
    libnvidia-container1-${NVIDIA_CONTAINER_TOOLKIT_VERSION}

--gpg-auto-import-keys vertraut dem Schlüssel des Repositorys ohne Rückfrage. Das passt zur Automatisierung; auf einem einzelnen Server möchten Sie den Schlüssel vielleicht lieber zuerst von Hand importieren und prüfen.

6. Versionen fixieren und Upgrades planen

Ein unbeaufsichtigtes Upgrade, das den Toolkit verändert oder den Treiber ohne den Toolkit aktualisiert, ist eine häufige Ursache dafür, dass GPU-Container über Nacht ausfallen. Halten Sie die Pakete fest und aktualisieren Sie sie bewusst:

DistributionToolkit-Pakete festhalten
Ubuntu, Debiansudo apt-mark hold nvidia-container-toolkit nvidia-container-toolkit-base libnvidia-container-tools libnvidia-container1
RHEL-Familie, Fedorasudo dnf versionlock add nvidia-container-toolkit nvidia-container-toolkit-base libnvidia-container-tools libnvidia-container1 (benötigt das versionlock-Plugin)
openSUSE, SLESsudo zypper addlock nvidia-container-toolkit nvidia-container-toolkit-base libnvidia-container-tools libnvidia-container1

Wenn Sie aktualisieren, aktualisieren Sie alle vier Pakete gemeinsam, zuerst auf einem Testhost, und folgen Sie dann der Reihenfolge in Abschnitt 16.

7. Docker konfigurieren

Schritt 1: die NVIDIA-Runtime bei Docker registrieren.

$ sudo nvidia-ctk runtime configure --runtime=docker

Dies bearbeitet /etc/docker/daemon.json und fügt eine nvidia-Runtime hinzu. Vorhandene Einstellungen in der Datei bleiben erhalten. Das Ergebnis sieht so aus:

{
  "runtimes": {
    "nvidia": {
      "args": [],
      "path": "nvidia-container-runtime"
    }
  }
}

Schritt 2: Docker neu starten.

$ sudo systemctl restart docker

Ein Neustart von Docker beendet laufende Container, sofern Live Restore nicht aktiviert ist; führen Sie ihn auf einem ausgelasteten Host daher in einem Wartungsfenster durch. Wenn Sie daemon.json mit Konfigurationsmanagement verwalten, fügen Sie die Runtime stattdessen dort hinzu, sonst entfernt Ihr Tool sie beim nächsten Lauf wieder.

Das Flag --gpus von Docker funktioniert, sobald die Runtime registriert ist. Wenn jeder Container standardmäßig die NVIDIA-Runtime verwenden soll, zum Beispiel auf einem dedizierten GPU-Host, ergänzen Sie den configure-Befehl um --set-as-default.

8. Rootless Docker konfigurieren

Rootless Docker führt den Daemon als gewöhnlicher Benutzer aus, mit einer eigenen Konfigurationsdatei. Drei Schritte:

Schritt 1: die Runtime in der Docker-Konfiguration des Benutzers registrieren (ohne sudo):

$ nvidia-ctk runtime configure --runtime=docker --config=$HOME/.config/docker/daemon.json

Schritt 2: den Docker-Daemon des Benutzers neu starten.

$ systemctl --user restart docker

Schritt 3: dem Toolkit mitteilen, dass er keine cgroups verwalten soll, was einem rootless Daemon nicht erlaubt ist. Das ist eine hostweite Einstellung und benötigt daher sudo:

$ sudo nvidia-ctk config --set nvidia-container-cli.no-cgroups --in-place

Diese Einstellung betrifft jede Engine auf dem Host. Wenden Sie sie nicht auf einem Host an, der zusätzlich rootful Container betreibt, die für die cgroup-Einrichtung auf den Toolkit angewiesen sind.

9. containerd für Kubernetes konfigurieren

Schritt 1: die Runtime bei containerd registrieren.

$ sudo nvidia-ctk runtime configure --runtime=containerd

Standardmäßig schreibt dies eine Drop-in-Datei, /etc/containerd/conf.d/99-nvidia.toml, und fügt sie der imports-Liste in /etc/containerd/config.toml hinzu, wobei diese Datei angelegt wird, falls sie nicht existiert. Wenn die NVIDIA-Einstellungen in einem Drop-in liegen, bleibt Ihre eigene config.toml lesbar, und die Änderung lässt sich leicht wieder entfernen.

Schritt 2: containerd neu starten.

$ sudo systemctl restart containerd

Danach muss Kubernetes von den GPUs erfahren. Die meisten Cluster nutzen den NVIDIA GPU Operator, der den Toolkit und das Device-Plugin für Sie installieren kann, oder das NVIDIA-Device-Plugin allein. Pods wählen die Runtime über eine RuntimeClass namens nvidia oder nutzen sie standardmäßig, wenn Sie sie als Standard-Runtime von containerd festlegen. Wenn Sie den GPU Operator mit seinem integrierten Toolkit verwenden, installieren Sie den Toolkit nicht zusätzlich von Hand auf den Knoten, sonst streiten sich beide um dieselbe Konfiguration.

Distributionen, die ihr eigenes containerd mitbringen, etwa k3s und RKE2, legen dessen Konfiguration an einem anderen Ort ab und erkennen die NVIDIA-Runtime oft automatisch. Folgen Sie deren GPU-Dokumentation, statt /etc/containerd zu bearbeiten.

10. nerdctl

nerdctl, die Docker-artige Kommandozeile für containerd, benötigt keine Konfiguration. Sobald der Toolkit installiert ist, funktioniert nerdctl run --gpus=all mit oder ohne Root. Für nerdctl allein benötigen Sie die containerd-Konfiguration aus Abschnitt 9 nicht.

11. CRI-O konfigurieren

Schritt 1: die Runtime bei CRI-O registrieren.

$ sudo nvidia-ctk runtime configure --runtime=crio

Dies schreibt eine Drop-in-Datei, /etc/crio/conf.d/99-nvidia.toml, damit CRI-O die NVIDIA-Runtime verwenden kann.

Schritt 2: CRI-O neu starten.

$ sudo systemctl restart crio

12. Podman und das Container Device Interface (CDI)

Für Podman empfiehlt NVIDIA das Container Device Interface. CDI ist eine offene Spezifikation: Eine YAML-Datei beschreibt jedes Gerät und alles, was ein Container benötigt, um es zu nutzen, und jede Engine mit CDI-Unterstützung liest diese Datei. Nichts muss sich beim Start in die Engine einklinken.

Schritt 1: die CDI-Spezifikation für die GPUs in diesem Host erzeugen:

$ sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml

Schritt 2: die erzeugten Gerätenamen prüfen:

$ nvidia-ctk cdi list
nvidia.com/gpu=0
nvidia.com/gpu=1
nvidia.com/gpu=all
...

Schritt 3: einen Container mit einer GPU ausführen.

$ podman run --rm --device nvidia.com/gpu=all --security-opt=label=disable \
    ubuntu nvidia-smi -L

--security-opt=label=disable ist auf SELinux-Systemen wie RHEL erforderlich, wo das Standardlabel den Container daran hindert, die Gerätedateien zu lesen.

Die Spezifikation hält die Treiberversion und die Dateipfade zum Zeitpunkt ihrer Erzeugung fest. Erzeugen Sie sie nach jedem Treiber-Upgrade neu sowie nach dem Hinzufügen oder Entfernen von GPUs oder dem Ändern von MIG-Partitionen. Neuere Toolkit-Releases können dies über eine systemd-Unit automatisch erledigen; prüfen Sie, ob Ihre Version das enthält, bevor Sie sich darauf verlassen. Docker und containerd können ebenfalls CDI verwenden, und es vermeidet das in Abschnitt 2 beschriebene cgroup-Problem.

13. Die eigenen Einstellungen des Toolkits sicher ändern

Der Toolkit speichert seine Einstellungen in /etc/nvidia-container-runtime/config.toml. Bearbeiten Sie sie mit nvidia-ctk config statt von Hand. Ohne --in-place oder --output gibt der Befehl nur das Ergebnis aus, was Ihnen eine sichere Vorschau liefert.

Eine Änderung in der Vorschau ansehen:

$ sudo nvidia-ctk config --set nvidia-container-runtime.log-level=debug

Sie anwenden, sobald Sie mit der Ausgabe zufrieden sind:

$ sudo nvidia-ctk config --in-place --set nvidia-container-runtime.log-level=debug

Setzen Sie mehrere Werte auf einmal, indem Sie --set wiederholen. Dies aktiviert das Debug-Logging und schreibt es in eine Datei:

$ sudo nvidia-ctk config --in-place \
    --set nvidia-container-runtime.log-level=debug \
    --set nvidia-container-runtime.debug=/var/log/nvidia-container-runtime.log

Bei einer Listeneinstellung trennen Sie die Einträge mit Doppelpunkten. Dies macht crun zur ersten Low-Level-Runtime, die versucht wird, mit runc als Rückfalloption:

$ sudo nvidia-ctk config --in-place --set nvidia-container-runtime.runtimes=crun:runc

Einstellungen, die Sie nicht nennen, bleiben erhalten. Wird derselbe Schlüssel zweimal angegeben, gilt der letzte Wert. Schalten Sie das Debug-Logging wieder aus, wenn Sie fertig sind: Das Log wächst auf einem ausgelasteten Host schnell.

14. GPU-Zugriff in einem Container testen

Führen Sie nvidia-smi in einem einfachen Ubuntu-Container aus. Das Image enthält keine NVIDIA-Software; der Toolkit bindet das Hilfsprogramm ein.

$ docker run --rm --gpus all ubuntu nvidia-smi

Sie sollten dieselbe GPU-Tabelle wie auf dem Host sehen. Prüfen Sie dann die Fälle, die Sie im Produktivbetrieb nutzen werden:

Was zu prüfen istBefehl
Alle GPUsdocker run --rm --gpus all ubuntu nvidia-smi -L
Bestimmte GPUs nach Indexdocker run --rm --gpus '"device=0,1"' ubuntu nvidia-smi -L
Eine Anzahl von GPUsdocker run --rm --gpus 2 ubuntu nvidia-smi -L
Direkt über die Runtimedocker run --rm --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=all ubuntu nvidia-smi
Über CDIdocker run --rm --device nvidia.com/gpu=all ubuntu nvidia-smi
Eine echte CUDA-WorkloadFühren Sie ein CUDA-Beispiel oder die GPU-Prüfung Ihres Frameworks (zum Beispiel torch.cuda.is_available()) in dem Image aus, das Sie tatsächlich bereitstellen werden.

Beachten Sie die Anführungszeichen im zweiten Beispiel: Die Geräteliste benötigt beide Sätze von Anführungszeichen, sonst teilt Docker sie am Komma.

Container erhalten standardmäßig einen eingeschränkten Satz von Treiberfunktionen: compute und utility. Grafik, Video-Encoding und -Decoding sowie Display benötigen mehr. Legen Sie sie mit der Umgebungsvariable NVIDIA_DRIVER_CAPABILITIES fest, zum Beispiel -e NVIDIA_DRIVER_CAPABILITIES=compute,utility,video für einen Transcoding-Container.

15. Fehlerbehebung

SymptomWahrscheinliche UrsacheLösung
could not select device driver "" with capabilities: [[gpu]]Docker kennt die NVIDIA-Runtime nicht.Führen Sie nvidia-ctk runtime configure --runtime=docker aus und starten Sie Docker neu. Prüfen Sie, ob das Konfigurationsmanagement daemon.json überschrieben hat.
Failed to initialize NVML: Unknown Error in einem Container, der früher funktioniert hatDas systemd-cgroup-Problem nach systemctl daemon-reload.Starten Sie den Container neu. Damit es nicht erneut auftritt, verwenden Sie CDI oder legen Sie die /dev/char-Symlinks an (Abschnitt 2).
Failed to initialize NVML: Driver/library version mismatch auf dem HostDas Treiberpaket wurde aktualisiert, aber das alte Kernelmodul ist noch geladen.Starten Sie neu, oder entladen und laden Sie das Modul in einem Wartungsfenster neu.
nvidia-smi funktioniert auf dem Host, aber nicht im ContainerDer Container wurde ohne GPU-Anforderung gestartet, oder die Capabilities schließen utility aus.Ergänzen Sie --gpus oder ein CDI-Gerät und prüfen Sie NVIDIA_DRIVER_CAPABILITIES.
CUDA-Fehler mit dem Hinweis, der Treiber sei zu altDie CUDA-Version des Images benötigt einen neueren Treiber, als der Host hat.Aktualisieren Sie den Host-Treiber oder verwenden Sie ein Image, das für eine ältere CUDA-Version gebaut wurde.
CDI-Gerät nach einem Treiber-Upgrade nicht gefundenDie CDI-Spezifikation beschreibt den alten Treiber.Erzeugen Sie sie mit nvidia-ctk cdi generate neu.
Permission denied auf /dev/nvidia* mit PodmanSELinux-Labeling.Ergänzen Sie --security-opt=label=disable oder verwenden Sie eine Richtlinie, die die Geräte zulässt.
Fehler vom Hook bei rootless DockerDer Toolkit versucht, cgroups zu verwalten.Setzen Sie nvidia-container-cli.no-cgroups (Abschnitt 8).

In allen anderen Fällen aktivieren Sie das Debug-Logging (Abschnitt 13), reproduzieren den Fehler und lesen das Log. Es verzeichnet jede Datei und jedes Gerät, die der Toolkit einzubinden versucht hat.

16. Betrieb in einer ganzen Flotte

  • Automatisieren Sie es. Legen Sie Repository, fixierte Pakete, Engine-Konfiguration und CDI-Erzeugung in Ansible, Salt oder Ihrem Image-Build ab, nicht in einem Runbook, das jemand von Hand abtippt.
  • Aktualisieren Sie in Ringen. Aktualisieren Sie Treiber und Toolkit auf einem Testhost, führen Sie Ihre echten Workloads und die Prüfungen aus Abschnitt 14 aus, gehen Sie dann zu einer kleinen Gruppe von Produktivhosts über und danach zum Rest. Unser eigener Ring Promoter arbeitet bei Software-Releases genauso.
  • Trennen Sie Treiber- und Toolkit-Änderungen. Ändern Sie jeweils nur eines, damit Sie wissen, welche Änderung ein Problem verursacht hat.
  • Erzeugen Sie CDI-Spezifikationen neu, als Teil jedes Treiber-Upgrades.
  • Spiegeln Sie das Repository für Air-Gapped- oder regulierte Standorte, und signieren Sie das Gespiegelte oder versehen Sie es mit Prüfsummen.
  • Überwachen Sie die GPUs, nicht nur die Container. NVIDIA DCGM und sein Prometheus-Exporter zeigen GPU-Zustand, Fehler und Nutzung, sodass Sie eine ausfallende GPU von einem defekten Container unterscheiden können.
  • Erfassen Sie Versionen. Halten Sie Treiber-, Toolkit-, CUDA-Image- und Engine-Versionen für jeden Host in Ihrem Inventar fest. Das ist das Erste, wonach jemand fragt, wenn etwas kaputtgeht.

17. Wie Workstation helfen kann

Jeder KI-Server und jede Workstation, die wir bauen, wird mit installiertem, konfiguriertem und getestetem NVIDIA-Treiber, Container Toolkit und Container-Engine ausgeliefert, mit fixierten und dokumentierten Versionen. Außerdem können wir:

  • Kubernetes mit dem GPU Operator auf Ihren Servern einrichten, mit Upgrades, die in Ringen ausgerollt werden;
  • die Ansible- oder Image-Pipeline aufbauen, die eine GPU-Flotte konsistent hält;
  • geleaste GPU-Kapazität finden, falls Sie die Hardware lieber nicht besitzen möchten (siehe GPU Leasing);
  • die Plattform anschließend betreuen, einschließlich Treiber- und Toolkit-Upgrades.

Sehen Sie sich unsere KI-Workstations und GPU-Cluster an, oder kontaktieren Sie uns, um mit einem Ingenieur zu sprechen.

Quellen

  • NVIDIA, Installing the NVIDIA Container Toolkit, Toolkit-Version 1.20.1. Die Installations- und Konfigurationsbefehle folgen dieser Anleitung.
  • NVIDIA, Dokumentation zum Container Toolkit zu unterstützten Plattformen, CDI-Unterstützung und Fehlerbehebung.

NVIDIA, CUDA und DGX sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den USA und anderen Ländern. Docker, Kubernetes, Podman und andere Namen sind Marken ihrer jeweiligen Inhaber.

Diesen Artikel teilen

Mehr zu Technology

Laptops für KI-Entwickler: LLMs lokal unter Linux mit GPUs mit 16 GB und 24 GB betreiben (Leitfaden 2026)

Laptops für KI-Entwickler: LLMs lokal unter Linux mit GPUs mit 16 GB und 24 GB betreiben (Leitfaden 2026)

Was auf eine RTX 5080 oder RTX 5090 Laptop GPU passt, die Speicherrechnung, die lohnenden offenen Modelle, die Einrichtung von Ubuntu 26.04 mit dem NVIDIA-Stack, Ollama, llama.cpp und vLLM, Coding-Assistenten, LoRA-Fine-Tuning, Sicherheit und wann Arbeit auf einen Server gehört

Weiterlesen
ML- und LLM-Systeme testen, deren Korrektheit sich nicht beweisen lässt: ein Python-Evidenz-Kit

ML- und LLM-Systeme testen, deren Korrektheit sich nicht beweisen lässt: ein Python-Evidenz-Kit

Evidenz statt Beweise, in etwa 400 Zeilen Python mit echter Ausgabe: Slice-Metriken mit Bootstrap-Intervallen und einem Pass/Fail-Vertrag, Property- und metamorphe Tests mit Hypothesis, Kalibrierung und Conformal Prediction, Pydantic-Verträge und Regressionsevaluierungen für LLM-Ausgaben, Drift-Prüfungen, ein CI-Gate und die exakte Verifikation eines kleinen neuronalen Netzes

Weiterlesen
TorchCurves in der Praxis: lernbare B-Spline- und Legendre-Kurven in PyTorch

TorchCurves in der Praxis: lernbare B-Spline- und Legendre-Kurven in PyTorch

torchcurves installieren, eine Kurve anpassen und dimensionieren, B-Spline oder Legendre und die Eingabeabbildung wählen, eine monotone Kalibrierungskurve und ein additives Modell auf tabellarischen Daten bauen, mit SciPy, scikit-learn, einem KAN und einem MLP vergleichen, Koeffizienten nach JSON exportieren, testen und in der Produktion betreiben, mit echten Ausgaben

Weiterlesen