La boutique est ouverte

Nous construisons les machines Workstation AI pour les sites web, les agents IA et l'entraînement de LLM — configurez-les et achetez-les en ligne.

Obtenir les prix pro
Produits IA
Labs IAAgents OpenAIAgents ClaudeGrok BotCRM natif Workstation AIMarketingTous les produits
Solutions IA
IA appliquéeAgents IAIA générativeAutomatisation par IAMontée en compétence IAOffres IA pour PMELaboratoire IA d'entrepriseStations de travail IAMatériel et logiciels NVIDIACalcul accéléré NVIDIAIA privéeCloud privé GPUClusters GPUIA en périphérieIA par secteur
Services IA
Modernisation des plateformesIngénierie numériqueFondations data et IAOpérations autonomesConseil IAAutomatisation DevOpsCybersécuritéDéveloppement logicielCréation d'agentsMise en place MLOpsLocation de GPUCloud privé GPU
À propos
EntrepriseNotre histoirePartenairesTémoignages clients
Centres de données IA
Centres de données IACloud privé GPUClusters GPULocation de GPU
Analyses IASérie JevLabo de benchmarksChoix de modèles
Notes techniques
Documentation
OS LinuxUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
Plateformes cloud d'IAAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryClouds et places de marché GPU
Centres de données IA privésPour les cabinets d'avocatsPour les cabinets comptablesPlateformes sur siteCloud entièrement sécurisé
OutilsRing PromoterJobshout
Actualités
Blog
Nous contacterSe connecter

Stations de travail IA, logiciels multi-agents IA, infrastructure GPU et solutions d'agents intelligents pour les entreprises modernes.

Nous contacter

Solutions IA

IA appliquéeAgents IAIA générativeAutomatisation par IAMontée en compétence IAOffres IA pour PMELaboratoire IA d'entrepriseIA par secteur

Produits

Tous les produitsCRM & ERP natifs Workstation AIMarketingAgents OpenAIRing PromoterJobshout

Entreprise

À proposEntrepriseCentres de données IAPourquoi WorkstationPartenairesTémoignages clientsTarifsContactTenthMatrix

Ressources

Analyses IANotes techniquesDocumentationOS LinuxPlateformes cloud d'IACentres de données IA privésBlogRechercherPlan du site
Bureau de Belgique
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683Lun - Ven : 9h00 - 18h00 CET
+32 492 45 67 46
Siège social au Royaume-Uni
77-79 Marlowes, Hemel Hempstead HP1 1LFItinéraire : prenez la sortie 20 de la M25, Outer LondonN° d'entreprise: 11641870Lun - Ven : 9h00 - 18h00 GMT
+44 7515 356 146
Bureau de l'Inde
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841
Bureau de Taïwan
3F, No. 2-4, Aisi Rd., Ren'ai Dist., Keelung City 200, Taiwan基隆市仁愛區愛四路2之4號3樓Lun - Ven : 9 h 00 - 18 h 00, heure de Taïwan (GMT+8)
+886 926 892 701+32 492 45 67 46
Bureau en Estonie
Aleksander Puškini tn 30-25, 20306 Narva, EstoniaLun - Ven : 9 h 00 - 18 h 00, heure d’Estonie (EET)
+32 492 45 67 46

© 2026 Workstation AI. Tous droits réservés.

ConfidentialitéSuppression des donnéesCookiesConditions d'utilisationPlan du site web

NVIDIA, le logo NVIDIA, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX et HGX sont des marques commerciales et/ou des marques déposées de NVIDIA Corporation aux États-Unis et dans d'autres pays. AMD, le logo AMD Arrow, EPYC, Instinct, Ryzen et Threadripper sont des marques commerciales d'Advanced Micro Devices, Inc. Dell et PowerEdge sont des marques commerciales de Dell Inc. ou de ses filiales. Intel et Xeon sont des marques commerciales d'Intel Corporation ou de ses filiales. AMAX, AceleMax et LiquidMax sont des marques commerciales d'AMAX Engineering Corporation. Tous les autres noms de produits, logos et marques appartiennent à leurs propriétaires respectifs. Nous les utilisons uniquement pour identifier les produits que nous décrivons, fournissons ou prenons en charge ; leur utilisation ne signifie pas que leurs propriétaires nous cautionnent.

Base de connaissances IA · Système d'exploitation Linux

Linux, optimisé pour l'IA

Tous les systèmes d'IA que nous livrons tournent sous Linux. Ce guide présente les distributions prises en charge par l'équipe Workstation, la manière dont nous les durcissons, les réglages du noyau et des pilotes qui comptent pour les GPU, la façon dont nous les exécutons sous Kubernetes et Docker, la montée en charge des API LLM qui s'appuient dessus, et les pipelines CI/CD qui amènent modèles, agents et données en production en toute sécurité.

  • Ubuntu
  • Red Hat Enterprise Linux
  • SUSE Linux
  • Alpine Linux
  • Debian
  • Rocky et AlmaLinux

Sur cette page

  1. Choisir une distribution
  2. Ubuntu
  3. Red Hat Enterprise Linux
  4. SUSE Linux
  5. Alpine Linux
  6. Debian, Rocky & AlmaLinux
  7. Optimisations du noyau et du système
  8. Kubernetes et Docker
  9. Montée en charge des API LLM
  10. CI/CD pour les LLM, les agents et les données
  11. Comment nous sécurisons Linux
  12. Support Workstation

Choisir une distribution

Il n'existe pas de meilleur Linux unique pour l'IA. Le bon choix dépend de l'endroit où il s'exécute, de qui le prend en charge et de ce dans quoi il doit s'intégrer. Voici comment nous décidons habituellement.

Workflow : choisir une distribution. Entreprise réglementée ou parc OpenShift : Red Hat Enterprise Linux. Parc Rancher, SAP ou flotte edge : SUSE Linux Enterprise. Un petit service en conteneur autour des modèles : Alpine Linux. Indépendant des fournisseurs ou RHEL sans abonnement : Debian, Rocky Linux ou AlmaLinux. Sinon : Ubuntu LTS.
Comment nous décidons habituellement : quatre questions, dans l'ordre. Si aucune ne s'applique, Ubuntu LTS est notre choix par défaut.
DistributionIdéal pourGPU et CUDAKubernetesCycle de vie
Ubuntu LTSServeurs GPU, stations de travail, la plupart des équipes IASupport de premier ordre : NVIDIA développe et teste ici en premier ; pilotes signésCanonical Kubernetes, MicroK8s, k3s, RKE25 ans, plus de 10 avec Ubuntu Pro
Red Hat Enterprise LinuxEntreprises réglementées, parcs OpenShiftDépôt NVIDIA CUDA et branches de pilotes ; RHEL AIOpenShift, OpenShift AI10 ans, plus le support étendu
SUSE Linux EnterpriseParcs Rancher, SAP et flottes edgePaquets signés du pilote noyau open source NVIDIA ; SUSE AIRancher, RKE2, k3sCycle de vie long avec LTSS
Alpine LinuxConteneurs minimaux, passerelles et services edgePas pour les hôtes GPU (musl, pas de CUDA)Comme image de base de conteneurEnviron 2 ans par version
DebianServeurs et laboratoires stables, indépendants des fournisseursPilotes NVIDIA dans non-free ; dépôt CUDAk3s, kubeadm, RKE2Environ 5 ans avec LTS
Rocky et AlmaLinuxCompatible RHEL sans abonnementMêmes paquets que RHELkubeadm, RKE2, k3s, OKDEnviron 10 ans

Les distributions que nous prenons en charge

Ubuntu

Le choix par défaut pour les serveurs GPU et les stations de travail IA.

L'essentiel de l'écosystème de l'IA est d'abord développé et testé sur Ubuntu. Les conteneurs NGC de NVIDIA, la documentation CUDA et de nombreux installateurs de frameworks le supposent, ce qui signifie moins de surprises à l'arrivée d'un nouveau GPU, d'un nouveau pilote ou d'un nouveau modèle.

Workflow : Ubuntu 24.04 LTS, pilote NVIDIA signé, CUDA et cuDNN, NVIDIA Container Toolkit, puis Docker sur une seule machine ou Kubernetes avec le NVIDIA GPU Operator, puis le serveur de modèles
Comment nous construisons un hôte GPU Ubuntu : installer le système, ajouter le pilote NVIDIA signé, CUDA et le container toolkit, puis exécuter les modèles dans Docker sur une seule machine ou dans Kubernetes avec le GPU Operator.

Versions que nous déployons: Ubuntu 24.04 LTS (Server et Desktop), 22.04 LTS pour les parcs existants

GPU, CUDA et pile IA

  • ubuntu-drivers installe des modules noyau NVIDIA signés par Canonical, de sorte que l'UEFI Secure Boot reste activé sans avoir à enrôler votre propre clé.
  • CUDA, cuDNN et le NVIDIA Container Toolkit depuis les dépôts apt de NVIDIA, avec des versions figées pour chaque release.
  • Les noyaux HWE apportent la prise en charge des CPU, GPU et cartes réseau les plus récents à une version LTS.

Comment nous l'optimisons pour l'IA

  • Installations Server, paquets minimaux, snaps gelés ou supprimés sur les appliances.
  • Gouverneur CPU en mode performance, placement tenant compte du NUMA et mode persistance pour les GPU (voir la section sur le noyau).
  • Mises à jour de sécurité automatiques planifiées dans une fenêtre de maintenance, ou paquets de mise à jour hors ligne pour les sites isolés.

Kubernetes et conteneurs

  • Docker ou containerd avec le NVIDIA Container Toolkit.
  • k3s pour le mono-nœud et l'edge, Canonical Kubernetes ou RKE2 pour les clusters, avec le NVIDIA GPU Operator par-dessus.

Sécurité

  • Ubuntu Pro ajoute Livepatch, les modules FIPS 140, une maintenance de sécurité étendue et l'Ubuntu Security Guide pour le durcissement CIS et DISA-STIG.
  • AppArmor en mode enforcing, avec des profils pour les services que nous exécutons.

Notre avis: Notre choix par défaut pour les serveurs GPU, les stations de travail IA et les appliances hors ligne, sauf si un parc est déjà standardisé sur autre chose.

Red Hat Enterprise Linux

Pour les entreprises réglementées et les parcs OpenShift.

RHEL apporte un cycle de vie de dix ans, du matériel certifié et un contrat de support que les services achats et les auditeurs reconnaissent. Le portefeuille IA de Red Hat — RHEL AI, OpenShift AI et Red Hat AI Inference Server, basé sur vLLM — s'appuie dessus.

Workflow : RHEL 9 ou 10, puis le pilote et le toolkit CUDA depuis le dépôt CUDA de NVIDIA, puis Podman avec CDI sur un seul hôte ou OpenShift avec le NVIDIA GPU Operator et Node Feature Discovery, avec le portefeuille IA de Red Hat par-dessus. Le mode image est présenté comme une option.
Comment nous construisons un hôte GPU RHEL : installer RHEL, ajouter les paquets du pilote NVIDIA et de CUDA, puis exécuter les conteneurs GPU avec Podman sur un seul hôte ou avec OpenShift et le GPU Operator sur un cluster. Le mode image permet de livrer tout le système sous la forme d'une seule image versionnée, restaurable.

Versions que nous déployons: RHEL 9 et RHEL 10

GPU, CUDA et pile IA

  • Le dépôt CUDA de NVIDIA pour RHEL fournit le pilote (précompilé ou DKMS) et le toolkit CUDA sous forme de paquets dnf.
  • Podman avec CDI (Container Device Interface) pour des conteneurs GPU sans démon root.
  • Le mode image (conteneurs amorçables) permet de livrer et de restaurer l'ensemble du système, pilotes compris, sous la forme d'une seule image versionnée.

Comment nous l'optimisons pour l'IA

  • Des profils tuned comme throughput-performance ou accelerator-performance comme point de départ, puis des ajustements par workload.
  • Paramètres NUMA, d'affinité des IRQ et de huge pages gérés sous forme de code.

Kubernetes et conteneurs

  • OpenShift avec le NVIDIA GPU Operator et Node Feature Discovery ; OpenShift AI pour les notebooks, les pipelines et le service de modèles.

Sécurité

  • SELinux en mode enforcing par défaut, mode FIPS et OpenSCAP avec le SCAP Security Guide pour les profils CIS et STIG.
  • Correctifs du noyau à chaud avec kpatch pour des correctifs de sécurité sans interruption de service.

Notre avis: Le bon choix lorsque les contrats de support, les certifications ou une plateforme OpenShift existante comptent davantage que des paquets dernier cri.

SUSE Linux

Pour les flottes gérées par Rancher, SAP et l'edge.

SUSE associe un Linux d'entreprise à Rancher, l'un des moyens les plus répandus de gérer de nombreux clusters Kubernetes, et à SUSE AI pour exécuter une IA privée sur cette plateforme. Ses outils de snapshots et de mises à jour transactionnelles font des restaurations une opération de routine.

Workflow : SLES 15 SP6 ou ultérieur ou SLE Micro, puis le pilote noyau open source NVIDIA signé avec zypper, puis CUDA et le NVIDIA Container Toolkit, puis RKE2 ou k3s gérés par Rancher avec le NVIDIA GPU Operator, puis SUSE AI. La restauration via snapper sur Btrfs est présentée en marge.
Comment nous construisons un hôte GPU SUSE : installer SLES ou SLE Micro, ajouter le pilote NVIDIA signé, CUDA et le container toolkit, puis exécuter RKE2 ou k3s sous Rancher avec le GPU Operator et SUSE AI. Grâce aux snapshots Btrfs, chaque mise à jour reste restaurable en une opération.

Versions que nous déployons: SUSE Linux Enterprise Server 15 SP6 et versions ultérieures, SLE Micro pour l'edge, openSUSE Leap pour les laboratoires

GPU, CUDA et pile IA

  • SUSE fournit les modules noyau GPU open source de NVIDIA, signés pour Secure Boot et installables avec zypper.
  • CUDA depuis le dépôt SUSE de NVIDIA ; le NVIDIA Container Toolkit pour containerd et Docker.

Comment nous l'optimisons pour l'IA

  • Btrfs avec des snapshots snapper : une mauvaise mise à jour du pilote ou du noyau se corrige d'une simple restauration.
  • Le système transactionnel en lecture seule de SLE Micro pour les nœuds GPU edge qui doivent se mettre à jour de manière atomique.

Kubernetes et conteneurs

  • RKE2 ou k3s gérés par Rancher, avec le NVIDIA GPU Operator ; SUSE AI pour des services d'IA privée packagés.

Sécurité

  • Contrôle d'accès obligatoire (AppArmor ou SELinux), modules certifiés FIPS, profils de durcissement OpenSCAP.
  • SUSE Live Patching pour corriger le noyau sans redémarrage.

Notre avis: Idéal lorsque Rancher gère déjà les clusters, ou pour les flottes edge qui ont besoin de mises à jour atomiques et de restaurations rapides.

Alpine Linux

Minuscule, rapide et durci, pour les conteneurs plutôt que pour les hôtes GPU.

L'image de base d'Alpine pèse quelques mégaoctets ; elle repose sur musl libc et BusyBox avec une chaîne de compilation durcie. Elle est donc excellente pour les petits services qui entourent un système d'IA, mais peu adaptée au travail GPU lui-même.

Workflow : les images Alpine exécutent la passerelle API, le proxy d'authentification, l'ordonnanceur et l'exporteur ; le nœud GPU exécute les conteneurs de modèles sur des bases Ubuntu, Debian ou UBI. Build multi-étapes : compiler sur une image complète, livrer un runtime Alpine minimal, obtenir des téléchargements plus rapides et un autoscaling plus réactif.
La place d'Alpine : les petits services autour des modèles, pas le nœud GPU. Un build multi-étapes compile sur une image complète et ne livre qu'un runtime Alpine minimal.

Versions que nous déployons: Versions stables actuelles d'Alpine, comme images de base de conteneurs

GPU, CUDA et pile IA

  • Les pilotes NVIDIA et CUDA sont compilés pour glibc, et PyTorch ne publie aucun wheel musl : les images GPU et la plupart des images d'entraînement doivent donc reposer sur des bases Ubuntu, Debian ou UBI.
  • Idéal pour les passerelles API, les proxys d'authentification, les ordonnanceurs, les exporteurs et l'inférence CPU légère avec des runtimes compilés.

Comment nous l'optimisons pour l'IA

  • Des builds multi-étapes qui compilent sur une image complète et livrent un runtime Alpine minimal.
  • Des images plus petites signifient des téléchargements plus rapides sur chaque nœud et un autoscaling plus réactif.

Kubernetes et conteneurs

  • Une image de base pour les sidecars, les init containers et les services edge dans n'importe quelle distribution Kubernetes.

Sécurité

  • Un ensemble de paquets réduit signifie une surface d'attaque réduite et des rapports d'analyse de vulnérabilités courts.
  • Exécution sans root avec un système de fichiers racine en lecture seule.

Notre avis: Utilisez-le pour les services qui entourent vos modèles, pas pour les nœuds GPU ni pour les conteneurs de modèles eux-mêmes.

Debian, Rocky & AlmaLinux

Les distributions communautaires que nous prenons en charge en production.

Debian est la base stable et indépendante des fournisseurs sur laquelle reposent Ubuntu et de nombreuses appliances. Rocky Linux et AlmaLinux sont compatibles binaires avec RHEL, pour les équipes qui veulent l'écosystème RHEL sans abonnement.

Workflow en deux voies. Debian 12 ou 13, puis le pilote NVIDIA depuis non-free ou le dépôt CUDA, puis le NVIDIA Container Toolkit, puis k3s, RKE2 ou kubeadm avec le NVIDIA GPU Operator. Rocky Linux ou AlmaLinux 9 ou 10, puis les mêmes paquets NVIDIA que RHEL, puis Podman avec CDI.
Deux voies : Debian suit la route apt vers Kubernetes avec le GPU Operator ; Rocky Linux et AlmaLinux utilisent les mêmes paquets NVIDIA et le même workflow Podman CDI que RHEL.

Versions que nous déployons: Debian 12 et 13 ; Rocky Linux et AlmaLinux 9 et 10

GPU, CUDA et pile IA

  • Debian : pilotes NVIDIA depuis le dépôt non-free ou le dépôt CUDA de NVIDIA ; dépôt apt du NVIDIA Container Toolkit.
  • Rocky et AlmaLinux : les mêmes paquets NVIDIA pour RHEL et le même workflow Podman CDI que RHEL.

Comment nous l'optimisons pour l'IA

  • Les mêmes réglages de noyau, de NUMA et de stockage que leurs cousins commerciaux, appliqués avec Ansible.
  • Debian sert aussi de base à Proxmox VE, que nous utilisons pour nos laboratoires de passthrough GPU.

Kubernetes et conteneurs

  • Clusters k3s, RKE2 ou kubeadm avec le NVIDIA GPU Operator.

Sécurité

  • Benchmarks CIS via OpenSCAP, AppArmor sur Debian et SELinux sur Rocky et AlmaLinux, avec des mises à jour de sécurité automatiques.

Notre avis: Des choix solides et économiques lorsque vous n'avez pas besoin d'un contrat fournisseur, soutenus par notre propre support.

Optimisations du noyau et du système pour les workloads d'IA

Les GPU ne sont rapides que si l'hôte les alimente en continu. Voici les réglages que nous vérifions sur chaque système d'IA, avant de les ajuster en fonction du workload propre au client. Aucun n'est universel : nous mesurons avant et après.

Workflow : trois groupes de réglages — GPU et pilote ; CPU, mémoire et NUMA ; PCIe, réseau et stockage — qui alimentent tous les GPU, mesurés avant et après.
Trois groupes de réglages de l'hôte permettent d'alimenter les GPU en continu. Nous les vérifions sur chaque système d'IA et les ajustons en fonction du workload réel.

GPU et pilote

  • Mode persistance (nvidia-persistenced) pour que le pilote reste chargé et que la première requête ne soit pas lente.
  • NVIDIA Fabric Manager sur les systèmes NVSwitch (HGX) : sans lui, les GPU ne s'initialisent pas pour CUDA.
  • DCGM pour les contrôles d'état, les diagnostics et les métriques par GPU.
  • Partitions MIG ou time-slicing lorsque de nombreux petits modèles partagent un grand GPU.

CPU, mémoire et NUMA

  • Gouverneur CPU en mode performance et C-states profonds limités sur les hôtes d'inférence sensibles à la latence.
  • Placement tenant compte du NUMA : le travail de chaque GPU est épinglé au socket CPU et à la mémoire les plus proches (nvidia-smi topo -m affiche la topologie).
  • Équilibrage NUMA automatique désactivé sur les hôtes GPU dédiés, pour que les pages ne migrent pas sous charge.
  • Transparent huge pages sur madvise par défaut ; huge pages explicites pour les workloads RDMA et DPDK.
  • Swappiness faible et limites memlock et de descripteurs de fichiers généreuses pour les data loaders et le RDMA.

PCIe, réseau et stockage

  • IOMMU en mode pass-through et Above 4G decoding / Resizable BAR activés dans le firmware.
  • GPUDirect RDMA (nvidia-peermem) et GPUDirect Storage (nvidia-fs) pour que les données contournent le CPU.
  • Jumbo frames de bout en bout sur les fabrics de stockage et RoCE, avec une affinité des IRQ répartie entre les cœurs.
  • NVMe avec l'ordonnanceur none, XFS ou ext4 avec noatime pour les jeux de données et les checkpoints.

Un point de départ (testé pour chaque workload, jamais copié à l'aveugle)

# /etc/sysctl.d/90-ai.conf
kernel.numa_balancing = 0
vm.swappiness = 10
vm.max_map_count = 1048576
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456

# kernel command line (GRUB)
iommu=pt transparent_hugepage=madvise

# services
systemctl enable --now nvidia-persistenced
systemctl enable --now nvidia-fabricmanager   # NVSwitch (HGX) systems
cpupower frequency-set -g performance

Kubernetes et Docker pour l'IA

La plupart des systèmes d'IA que nous construisons s'exécutent dans des conteneurs, d'une simple station de travail sous Docker jusqu'aux clusters GPU multi-nœuds. Les briques de base sont les mêmes sur toutes les distributions.

Workflow : NVIDIA Container Toolkit, puis le NVIDIA GPU Operator, puis le bon Kubernetes, puis le partage des GPU, puis l'ordonnancement tenant compte de la topologie, puis l'observabilité.
Les briques de base dans l'ordre où nous les mettons en place, identique sur toutes les distributions.

NVIDIA Container Toolkit

Donne à Docker, containerd et Podman l'accès aux GPU, via l'option --gpus ou les noms de périphériques CDI.

NVIDIA GPU Operator

Installe et gère les pilotes, le device plugin, l'exporteur DCGM, le gestionnaire MIG et les composants GPUDirect sur chaque nœud GPU Kubernetes.

Le bon Kubernetes

k3s pour un seul nœud ou l'edge, RKE2 ou Canonical Kubernetes pour les clusters, OpenShift là où Red Hat est la norme.

Partage des GPU

MIG pour une isolation stricte entre locataires, time-slicing pour le développement et ordonnancement fractionné pour de nombreux petits modèles.

Ordonnancement tenant compte de la topologie

Node Feature Discovery étiquette le modèle de GPU, la mémoire et l'interconnexion, pour que les gros jobs atterrissent sur les nœuds qui leur conviennent.

Observabilité

Prometheus et Grafana avec les métriques DCGM : utilisation des GPU, mémoire, température, consommation et erreurs par pod.

API LLM natives et montée en charge

Nous servons les modèles derrière des API compatibles OpenAI : les applications n'ont pas à se soucier du modèle ou du moteur qui se trouve derrière. La montée en charge s'opère alors dans quatre directions.

Workflow : les applications appellent une API compatible OpenAI. Derrière, la montée en charge s'opère au sein d'un GPU, entre les GPU d'un nœud via NVLink, entre les nœuds et avec davantage de réplicas derrière une passerelle.
Une API compatible OpenAI en façade ; derrière, quatre directions de montée en charge : au sein d'un GPU, entre les GPU d'un nœud, entre les nœuds et avec davantage de réplicas.
  1. 1

    Au sein d'un GPU

    La quantification (FP8, NVFP4 sur Blackwell, AWQ), la paged attention et le batching continu dans vLLM, SGLang ou TensorRT-LLM permettent de servir davantage d'utilisateurs sur chaque GPU.

  2. 2

    Entre les GPU d'un nœud

    Le parallélisme de tenseurs sur NVLink sert des modèles trop grands pour un seul GPU, avec la latence la plus faible.

  3. 3

    Entre les nœuds

    Le parallélisme de pipeline avec Ray ou Kubernetes LeaderWorkerSet pour les plus grands modèles, et le prefill et le décodage désagrégés (NVIDIA Dynamo, llm-d) à l'échelle du cluster.

  4. 4

    Davantage de réplicas

    Montée en charge horizontale derrière une passerelle, avec autoscaling sur la profondeur de file d'attente ou les tokens par seconde via KEDA ou le HPA, routage tenant compte du cache KV et mise à zéro via KServe.

Les moteurs que nous déployons : vLLM, SGLang, TensorRT-LLM avec Triton Inference Server, NVIDIA NIM, et Ollama ou llama.cpp pour les systèmes de bureau et edge. De nombreux adaptateurs LoRA peuvent partager un même modèle de base sur les mêmes GPU.

CI/CD pour les LLM, les agents et les pipelines de données

L'IA évolue plus souvent que les logiciels classiques : nouvelles versions de modèles, nouveaux prompts, nouvelles données. Nous donnons à chacun de ces trois éléments son propre pipeline, avec la même discipline : tout est versionné, testé, signé et promu par anneaux.

Workflow : trois pipelines. LLM : fine-tuner ou sélectionner, évaluer, enregistrer et signer, packager, promouvoir de int à test à acc à prod, surveiller et revenir en arrière. Agent : versionner les prompts, les outils et les politiques, tester unitairement les outils, rejouer des conversations comme évaluations, sandbox, release canary, traçage. Données : ingérer, valider, versionner, transformer et vectoriser, indexer, suivre la lignée.
Un pipeline pour chacun : modèles, agents et données. Les étapes se lisent de gauche à droite.

Pipeline LLM

  1. Fine-tuner ou sélectionner
  2. Évaluer selon des critères de tâche, de sécurité et de latence
  3. Enregistrer et signer le modèle
  4. Packager avec le moteur de service
  5. Promouvoir int → test → acc → prod
  6. Superviser et revenir en arrière

Kubeflow ou Ray pour l'entraînement, registre MLflow, signatures cosign, Argo CD pour le GitOps et Ring Promoter pour des releases anneau par anneau avec contrôle d'état.

Pipeline d'agents

  1. Versionner les prompts, les outils et les politiques dans git
  2. Tester unitairement chaque outil
  3. Rejouer des conversations enregistrées comme évaluations
  4. Exécuter les outils en sandbox
  5. Release canary
  6. Tracer chaque étape

Sandboxes d'outils conteneurisées, suites d'évaluation dans la CI, traçage OpenTelemetry, budgets de coût et de débit par agent.

Pipeline de données

  1. Ingérer
  2. Valider
  3. Versionner
  4. Transformer et vectoriser
  5. Indexer
  6. Suivre la lignée des données

Airflow, Dagster ou Argo Workflows ; Great Expectations pour la validation ; lakeFS ou DVC pour les versions ; Spark ou Ray pour la montée en charge ; pgvector, Qdrant ou Milvus pour la recherche ; OpenLineage pour la lignée.

La CI s'exécute sur des runners auto-hébergés au sein de votre réseau, y compris des runners GPU pour l'évaluation, de sorte que les modèles et les données ne le quittent jamais.

Comment nous sécurisons Linux pour l'IA

Un serveur d'IA détient vos données les plus précieuses et une partie de votre matériel le plus coûteux. Nous le sécurisons par couches, afin qu'aucune erreur isolée n'expose ni l'un ni l'autre.

Workflow : six couches de sécurité de bas en haut : démarrage et disque, système d'exploitation, accès, réseau, conteneurs et Kubernetes, modèles et données.
Six couches, du matériel jusqu'aux modèles et aux données, afin qu'aucune erreur isolée n'expose ni l'un ni l'autre.
01

Démarrage et disque

  • UEFI Secure Boot avec des pilotes GPU signés
  • Chiffrement intégral du disque (LUKS2) scellé dans le TPM, avec redémarrage sans intervention
  • Mots de passe firmware et ordre de démarrage verrouillé
02

Système d'exploitation

  • Durcissement selon les benchmarks CIS (Ubuntu Security Guide, OpenSCAP)
  • SELinux ou AppArmor en mode enforcing
  • Installations minimales et correctifs du noyau à chaud
  • Journalisation auditd vers un stockage centralisé
03

Accès

  • Clés SSH stockées sur des clés matérielles FIDO2, aucun mot de passe, aucune connexion root
  • sudo selon le principe du moindre privilège, avec journalisation
  • BMC et administration sur un réseau dédié
04

Réseau

  • Pare-feu en refus par défaut (nftables) pour le trafic entrant et sortant
  • VLAN segmentés et WireGuard pour l'accès administrateur
  • Mode entièrement hors ligne pour les sites isolés
05

Conteneurs et Kubernetes

  • Conteneurs sans root, en lecture seule, avec des profils seccomp
  • Pod Security Standards et politiques réseau
  • Images signées, analyses de vulnérabilités et SBOM
  • Secrets issus d'un coffre, jamais dans les images ni dans git
06

Modèles et données

  • Uniquement des safetensors, jamais de fichiers de modèles basés sur pickle
  • Vérification des empreintes et des signatures avant le chargement d'un modèle
  • Journaux d'audit par requête et accès par dossier ou par locataire

Avec le support de l'équipe Workstation

Choisissez la distribution qui convient à votre organisation : nous la livrons prête pour l'IA, puis nous la maintenons ainsi.

Workflow : installation avec des pilotes GPU signés et CUDA, durcissement et chiffrement, rodage de 72 heures, Kubernetes ou Docker avec le GPU Operator, déploiement via CI/CD, correctifs continus.
Comment nous livrons un système d'IA sous Linux, de l'installation aux correctifs continus.
  • Installée avec des pilotes GPU signés, CUDA et le container toolkit
  • Durcie selon CIS, chiffrée et testée avant la remise
  • Rodage de 72 heures sur chaque nœud
  • Kubernetes ou Docker configuré, avec le GPU Operator et la supervision
  • Service de LLM, agents et pipelines de données déployés via CI/CD
  • Correctifs continus, y compris des paquets de mise à jour hors ligne signés
Parler à un ingénieur Linux →Mise en place de la pile logicielle IA ↗Interroger l'AI Sales Engineer ↗

Voir aussi:Mise en place MLOpsAutomatisation DevOpsRing PromoterWSL VaultCybersécuritéCentres de données IA

Les logos sont des marques de leurs propriétaires respectifs et ne sont utilisés que pour identifier les produits que nous prenons en charge. Les logos Debian, Rocky Linux et AlmaLinux sont utilisés sous licences CC BY-SA provenant de Wikimedia Commons.