Base de connaissances IA · Plateformes cloud d'IA
Les hyperscalers pour les modèles gérés et les contrôles d'entreprise, les clouds GPU pour la capacité brute, les places de marché pour les heures les moins chères. L'équipe Workstation conçoit, sécurise et exploite l'IA sur chacun d'eux, en complément du matériel que vous possédez.
Amazon Bedrock, SageMaker AI et la gamme la plus large de GPU et de puces sur mesure.
Lire le guide →Vertex AI, Gemini et des TPU aux côtés des GPU NVIDIA.
Lire le guide →Azure OpenAI et AI Foundry, intégrés à Microsoft 365 et Entra ID.
Lire le guide →Superclusters GPU bare metal et OCI Generative AI.
Lire le guide →Un cloud natif Kubernetes conçu pour les grands clusters GPU.
Lire le guide →Des instances et clusters GPU simples et rapides pour les équipes d'IA.
Lire le guide →Un cloud d'IA complet avec clusters GPU et inférence gérée.
Lire le guide →Des GPU Droplets pensés pour les développeurs et une plateforme d'agents.
Lire le guide →Également pris en charge : Together AI, Fireworks AI, Groq, Hugging Face Inference Endpoints, Replicate, Crusoe, Hyperstack, Scaleway et OVHcloud.
La plupart des organisations en utilisent plusieurs : un hyperscaler pour les modèles gérés et la gouvernance, un cloud GPU pour l'entraînement ou l'inférence intensive, et leur propre matériel pour les workloads sensibles ou réguliers.
| Type | Points forts | Compromis | À utiliser pour |
|---|---|---|---|
| Hyperscalers (AWS, Google Cloud, Azure, Oracle) | Modèles gérés, identité, conformité, régions mondiales | Prix GPU plus élevés, quotas à gérer | API de production, données réglementées, agents gérés |
| Clouds GPU (CoreWeave, Lambda, Nebius, DigitalOcean) | GPU les plus récents, grands clusters, tarification plus simple | Moins de services gérés | Entraînement, fine-tuning, inférence à fort volume |
| Places de marché GPU (Vast.ai, RunPod) | Coût par heure GPU le plus bas, démarrage rapide | Fiabilité et confiance variables | Expériences, traitements par lots, points de terminaison qui descendent à zéro |
| Votre propre matériel Workstation | Coût fixe, contrôle total, les données restent dans vos locaux | Investissement initial, planification de capacité | Données sensibles, workloads réguliers, développement |
Bedrock élimine le problème des GPU, mais un trafic à grande échelle doit tout de même être conçu. Voici les modèles que nous utilisons pour les workloads Bedrock à fort volume.
Modélisez les tokens par minute et les requêtes par minute face au trafic de pointe et relevez les quotas avant le lancement, par modèle et par région.
Les profils d'inférence interrégionaux répartissent automatiquement les requêtes entre régions quand l'une est saturée.
Débit provisionné pour le trafic régulier et sensible à la latence ; à la demande pour le reste.
Mise en cache des prompts pour le contexte répété, inférence par lots pour le travail hors ligne et routage des prompts pour envoyer les requêtes simples vers des modèles plus petits.
Mettez les requêtes en file (SQS) et traitez-les de façon asynchrone, avec backoff exponentiel en cas de limitation et un modèle de repli.
Bedrock AgentCore pour le runtime, la mémoire, la passerelle d'outils, l'identité et l'observabilité des agents ; Knowledge Bases pour le RAG géré.
Points de terminaison VPC, clés KMS, Guardrails et CloudTrail sur chaque appel.
Métriques CloudWatch pour la latence, les tokens, les limitations et le coût par fonctionnalité, avec des alarmes avant que les utilisateurs ne remarquent quoi que ce soit.
La même discipline que sur site : tout est versionné, testé, signé et promu par anneaux, avec l'infrastructure as code pour que chaque environnement soit reproductible.
Évaluation Bedrock, Vertex AI ou Azure AI Foundry ; pipelines SageMaker ou Vertex ; registre MLflow ; Terraform ou OpenTofu ; Ring Promoter pour des mises en production contrôlées par health checks.
AgentCore, Agent Engine ou Foundry Agent Service ; traçage OpenTelemetry ; suites d'évaluation dans la CI.
AWS Glue, Dataflow ou Data Factory ; Airflow ou Dagster ; Bedrock Knowledge Bases, Vertex AI Search ou Azure AI Search ; OpenLineage.
Les pipelines s'exécutent avec des identifiants cloud éphémères via la fédération OIDC depuis GitHub Actions ou GitLab, jamais avec des clés d'accès stockées.
Un point de terminaison LLM est une API que l'on peut convaincre de faire des choses. Nous le sécurisons comme toute API critique, puis ajoutons les contrôles propres à l'IA.
Un agent, c'est un modèle plus un harnais : le code qui décide de ce qu'il peut voir, des outils qu'il peut appeler et du moment où une personne doit approuver. C'est dans le harnais que résident la sécurité et la fiabilité.
Chaque outil est déclaré avec un schéma, un responsable et une portée de permissions ; serveurs MCP derrière une authentification.
Chaque agent ne reçoit que les outils et données nécessaires à sa tâche, avec des identifiants limités à l'utilisateur pour lequel il agit.
Les outils de code et de shell s'exécutent dans des conteneurs isolés, sans accès réseau permanent.
Approbations pour les paiements, les suppressions, les e-mails sortants et tout ce qui est irréversible.
Plafonds d'étapes, de tokens, de temps et de dépenses par tâche, avec un échec propre lorsqu'ils sont atteints.
Exécutions enregistrées rejouées dans la CI, et chaque étape tracée en production pour le débogage et l'audit.
Les agents agissent pour le compte de personnes et de systèmes ; ils ont donc besoin de véritables identités, pas de clés partagées.
Authentification unique via votre fournisseur d'identité (Entra ID, Google Workspace, Okta) avec SAML ou OIDC, MFA et provisionnement SCIM.
Workload identity native du cloud : rôles AWS IAM et EKS Pod Identity, Google Workload Identity Federation, identités managées Azure.
Des identités d'agents avec leurs propres permissions à portée limitée, comme Bedrock AgentCore Identity et Microsoft Entra Agent ID, avec délégation on-behalf-of pour les actions des utilisateurs.
OAuth 2.1 pour les serveurs MCP et les outils tiers, jetons éphémères et consentement par outil.
Fédération OIDC de votre CI vers chaque cloud, pour que les pipelines ne détiennent aucun secret de longue durée.
Un coffre-fort pour tout ce qui doit rester secret, avec rotation et audit, comme notre WSL Vault ou le gestionnaire de secrets du cloud.
Nous sommes neutres vis-à-vis des plateformes. Nous vous aidons à choisir, puis à concevoir, sécuriser, déployer et exploiter l'IA sur n'importe lequel de ces clouds, en complément de votre propre matériel.
Les logos sont des marques de leurs propriétaires respectifs, utilisés uniquement pour identifier chaque plateforme, et proviennent de Wikimedia Commons. Schémas réalisés par l'équipe Workstation.