KI-Wissensdatenbank · KI-Cloud-Plattformen
Hyperscaler für verwaltete Modelle und Enterprise-Kontrollen, GPU-Clouds für reine Kapazität, Marktplätze für die günstigsten Stunden. Das Workstation-Team entwirft, sichert und betreibt KI auf allen davon — und neben der Hardware, die Sie besitzen.
Amazon Bedrock, SageMaker AI und das breiteste Angebot an GPUs und eigenen Chips.
Leitfaden lesen →Vertex AI, Gemini und TPUs neben NVIDIA-GPUs.
Leitfaden lesen →Azure OpenAI und AI Foundry, eingebunden in Microsoft 365 und Entra ID.
Leitfaden lesen →Bare-Metal-GPU-Supercluster und OCI Generative AI.
Leitfaden lesen →Eine Kubernetes-native Cloud für große GPU-Cluster.
Leitfaden lesen →Einfache, schnelle GPU-Instanzen und -Cluster für KI-Teams.
Leitfaden lesen →Eine Full-Stack-KI-Cloud mit GPU-Clustern und verwalteter Inferenz.
Leitfaden lesen →Entwicklerfreundliche GPU Droplets und eine Agentenplattform.
Leitfaden lesen →Ebenfalls unterstützt: Together AI, Fireworks AI, Groq, Hugging Face Inference Endpoints, Replicate, Crusoe, Hyperstack, Scaleway und OVHcloud.
Die meisten Organisationen nutzen mehr als eine: einen Hyperscaler für verwaltete Modelle und Governance, eine GPU-Cloud für Training oder intensive Inferenz und eigene Hardware für sensible oder gleichmäßige Workloads.
| Typ | Stärken | Kompromisse | Einsatz für |
|---|---|---|---|
| Hyperscaler (AWS, Google Cloud, Azure, Oracle) | Verwaltete Modelle, Identität, Compliance, globale Regionen | Höhere GPU-Preise, Kontingente müssen verwaltet werden | Produktive APIs, regulierte Daten, verwaltete Agenten |
| GPU-Clouds (CoreWeave, Lambda, Nebius, DigitalOcean) | Neueste GPUs, große Cluster, einfachere Preise | Weniger verwaltete Dienste | Training, Fine-Tuning, Inferenz mit hohem Volumen |
| GPU-Marktplätze (Vast.ai, RunPod) | Niedrigste Kosten pro GPU-Stunde, schneller Start | Schwankende Zuverlässigkeit und Vertrauenswürdigkeit | Experimente, Batch-Jobs, Endpunkte mit Skalierung auf null |
| Ihre eigene Workstation-Hardware | Fixkosten, volle Kontrolle, Daten bleiben in Ihrem Gebäude | Investitionsaufwand, Kapazitätsplanung | Sensible Daten, gleichmäßige Workloads, Entwicklung |
Bedrock löst das GPU-Problem, aber Verkehr im großen Maßstab muss trotzdem durchdacht werden. Diese Muster nutzen wir für Bedrock-Workloads mit hohem Volumen.
Modellieren Sie Tokens pro Minute und Anfragen pro Minute gegen Spitzenverkehr und erhöhen Sie Kontingente vor dem Launch, pro Modell und pro Region.
Regionsübergreifende Inferenzprofile leiten Anfragen automatisch über Regionen hinweg, wenn eine ausgelastet ist.
Provisioned Throughput für gleichmäßigen, latenzkritischen Verkehr; On-Demand für den Rest.
Prompt-Caching für wiederholten Kontext, Batch-Inferenz für Offline-Arbeit und Prompt-Routing, um einfache Anfragen an kleinere Modelle zu senden.
Anfragen in eine Warteschlange stellen (SQS) und asynchron verarbeiten, mit exponentiellem Backoff bei Drosselung und einem Fallback-Modell.
Bedrock AgentCore für Agenten-Runtime, Memory, Tool-Gateway, Identität und Observability; Knowledge Bases für verwaltetes RAG.
VPC-Endpunkte, KMS-Schlüssel, Guardrails und CloudTrail bei jedem Aufruf.
CloudWatch-Metriken für Latenz, Tokens, Drosselungen und Kosten pro Funktion, mit Alarmen, bevor Benutzer etwas bemerken.
Die gleiche Disziplin wie On-Premises: alles versioniert, getestet, signiert und über Ringe ausgerollt, mit Infrastructure as Code, damit jede Umgebung reproduzierbar ist.
Evaluierung mit Bedrock, Vertex AI oder Azure AI Foundry; SageMaker- oder Vertex-Pipelines; MLflow-Registry; Terraform oder OpenTofu; Ring Promoter für Releases mit Health-Checks.
AgentCore, Agent Engine oder Foundry Agent Service; OpenTelemetry-Tracing; Evaluierungssuiten in CI.
AWS Glue, Dataflow oder Data Factory; Airflow oder Dagster; Bedrock Knowledge Bases, Vertex AI Search oder Azure AI Search; OpenLineage.
Pipelines laufen mit kurzlebigen Cloud-Anmeldedaten über OIDC-Föderation aus GitHub Actions oder GitLab, niemals mit gespeicherten Zugriffsschlüsseln.
Ein LLM-Endpunkt ist eine API, der man Dinge einreden kann. Wir sichern ihn wie jede kritische API ab und ergänzen dann die KI-spezifischen Kontrollen.
Ein Agent ist ein Modell plus ein Harness: der Code, der entscheidet, was er sehen darf, welche Tools er aufrufen darf und wann ein Mensch zustimmen muss. Im Harness liegen Sicherheit und Zuverlässigkeit.
Jedes Tool mit Schema, Verantwortlichem und Berechtigungsbereich deklariert; MCP-Server hinter Authentifizierung.
Jeder Agent erhält nur die Tools und Daten, die seine Aufgabe erfordert, mit Anmeldedaten, die auf den Benutzer beschränkt sind, für den er handelt.
Code- und Shell-Tools laufen in isolierten Containern ohne dauerhaften Netzwerkzugriff.
Freigaben für Zahlungen, Löschungen, ausgehende E-Mails und alles Irreversible.
Obergrenzen für Schritte, Tokens, Zeit und Ausgaben pro Aufgabe, mit sauberem Abbruch bei Erreichen.
Aufgezeichnete Läufe werden in CI wiederholt, und jeder Schritt wird in der Produktion für Debugging und Audit nachverfolgt.
Agenten handeln im Auftrag von Menschen und Systemen, daher brauchen sie richtige Identitäten, keine gemeinsam genutzten Schlüssel.
Single Sign-on über Ihren Identitätsanbieter (Entra ID, Google Workspace, Okta) mit SAML oder OIDC, MFA und SCIM-Provisionierung.
Cloud-native Workload Identity: AWS-IAM-Rollen und EKS Pod Identity, Google Workload Identity Federation, verwaltete Azure-Identitäten.
Agenten-Identitäten mit eigenen, eingeschränkten Berechtigungen, etwa Bedrock AgentCore Identity und Microsoft Entra Agent ID, mit On-Behalf-of-Delegierung für Benutzeraktionen.
OAuth 2.1 für MCP-Server und Drittanbieter-Tools, kurzlebige Tokens und Zustimmung pro Tool.
OIDC-Föderation von Ihrer CI zu jeder Cloud, damit Pipelines keine langlebigen Secrets halten.
Ein Vault für alles, was ein Secret sein muss, mit Rotation und Audit, etwa unser WSL Vault oder der eigene Secrets-Manager der Cloud.
Wir sind plattformneutral. Wir helfen Ihnen bei der Auswahl und entwerfen, sichern, implementieren und betreiben KI dann auf jeder dieser Clouds, neben Ihrer eigenen Hardware.
Logos sind Marken ihrer jeweiligen Inhaber, werden nur zur Kennzeichnung der jeweiligen Plattform verwendet und stammen von Wikimedia Commons. Diagramme vom Workstation-Team.