Ein Praxisleitfaden für Engineering-Leads und Entwickler, die große Sprachmodelle (LLMs) auf dem eigenen Laptop des Entwicklers unter Linux betreiben möchten statt auf einem gemeinsam genutzten Server oder einer Cloud-GPU. Er behandelt, was in 16 GB und 24 GB Laptop-GPU-Speicher passt, die Rechnung dahinter, die lohnenden offenen Modelle im November 2026, die Einrichtung von Ubuntu 26.04 mit dem NVIDIA-Stack, den Betrieb von Modellen mit Ollama, llama.cpp und vLLM, die Anbindung an Coding-Tools, Fine-Tuning mit LoRA, Leistungsaufnahme und Wärme, Sicherheit sowie die Frage, wann ein Job auf einen Server oder in die Cloud gehört.
Diese Technote begleitet unseren Blogbeitrag Laptops für KI-Entwickler: Warum jedes KI-Team seinen Entwicklern eine eigene GPU geben sollte, der den Business Case darlegt. Die Beispielmaschine ist das Juno Neptune 18", ein 18-Zoll-Linux-Laptop, den wir verkaufen. Die Modellgrößen stammen aus der Ollama-Bibliothek und die GPU-Angaben von NVIDIA, geprüft am 18. November 2026. Die Geschwindigkeiten hängen von Modell, Quantisierung, Kontext und Energieeinstellungen ab, daher erklären wir, wie man misst, statt Benchmark-Zahlen zu nennen.
1. Warum die GPU auf den Schreibtisch des Entwicklers gehört
Der Großteil der KI-Entwicklung ist eine innere Schleife: einen Prompt, einen Retrieval-Schritt, eine Tool-Definition oder ein paar Codezeilen ändern, ausführen, die Ausgabe lesen, wiederholen. Diese Schleife läuft Hunderte Male am Tag. Wenn jeder Durchlauf auf eine gemeinsam genutzte GPU, den Start einer Cloud-Instanz oder eine API mit Ratenbegrenzung wartet, bündeln Entwickler ihre Änderungen und lernen langsamer. Ein lokales Modell antwortet in Sekunden, funktioniert offline und kostet nichts pro Aufruf.
- Datenschutz. Quellcode, Kundendaten und Prompts verlassen nie ein vom Unternehmen verwaltetes Gerät. Das vereinfacht Prüfungen nach UK GDPR und Kundenverträge, die das Senden von Daten an APIs Dritter untersagen.
- Realismus. Entwickler sehen die echten Grenzen offener Modelle (Kontextlänge, Quantisierung, Speicher), bevor die Produktion sie zu spüren bekommt.
- Gleichheit. Linux, der NVIDIA-Treiber, CUDA und Container sind dieselben wie auf Ihren GPU-Servern, sodass ein Prototyp ohne Änderungen auf einen Server wandert.
- Verfügbarkeit. Keine Warteschlange, kein Kontingent, keine Abhängigkeit von Ausfällen während der Entwicklung.
Ein Laptop ersetzt keine Server. Training, große Fine-Tunes, lange Evaluierungsläufe und produktives Serving gehören auf einen gemeinsam genutzten GPU-Server oder einen Cluster (Abschnitt 11).
2. Die Maschine
Die für KI-Arbeit relevanten Kennzahlen des Neptune 18" in der Konfiguration aus unserem Shop. Die GPU-Angaben stammen von NVIDIA, die übrigen vom Hersteller.
| Komponente | Spezifikation | Warum es wichtig ist |
|---|---|---|
| GPU (Standard) | NVIDIA GeForce RTX 5080 Laptop GPU: 16 GB GDDR7, 256 Bit, 7.680 CUDA-Kerne, 1.334 AI TOPS | Hält Modelle der Klasse 8–20B und deren KV-Cache auf der GPU |
| GPU (auf Anfrage) | NVIDIA GeForce RTX 5090 Laptop GPU: 24 GB GDDR7, 256 Bit, 10.496 CUDA-Kerne, 1.824 AI TOPS | Ergänzt die Klasse 27–32B und längeren Kontext |
| GPU-Leistung | 150 W + 25 W Dynamic Boost in diesem Gehäuse (NVIDIA-Bereiche: 80–150 W für die RTX 5080, 95–150 W für die RTX 5090 Laptop GPU) | Die Dauergeschwindigkeit hängt von der Leistung ab; lange Jobs am Netzteil laufen lassen |
| CPU | Intel Core Ultra 9 290HX Plus, 24 Kerne (8P + 16E), bis 5,5 GHz; 55 W Basis, 160 W maximal | Tokenisierung, Laden von Daten und CPU-Auslagerung von Modellschichten |
| Arbeitsspeicher | 32 bis 192 GB DDR5 (2 Module mit 5600 MHz bis 96 GB; 4 Module mit 4000 MHz für 128 und 192 GB) | Platz für Modelle, die größer als der GPU-Speicher sind (Abschnitt 4) |
| Massenspeicher | 1 × PCIe Gen 5 + 3 × PCIe Gen 4 M.2 2280, bis 16 TB | Modelldateien sind je 5–140 GB groß; halten Sie eine Bibliothek lokal vor |
| Display | 18" 16:10, QHD+ 240 Hz (RTX 5080) oder UHD+ 200 Hz (RTX 5090), 100 % DCI-P3 | Platz für Code, Terminal und Notebook nebeneinander |
| Anschlüsse | 2 × Thunderbolt 4 / USB-C, 2 × USB-A, HDMI und Mini DisplayPort (mit der NVIDIA-GPU verbunden), 2,5 Gb Ethernet, Wi-Fi 7 | Schnelle Übertragung von Modellen und Datensätzen |
| Stromversorgung | 99-Wh-Akku, 330-W-Netzteil | GPU-Arbeit findet am Netzteil statt |
| Software | Kubuntu oder Ubuntu 26.04 LTS vorinstalliert | Dieselbe Betriebssystemfamilie wie auf den meisten GPU-Servern |
3. Was passt: Der GPU-Speicher entscheidet
Wenn die Gewichte eines Modells, sein KV-Cache und die Laufzeitumgebung vollständig in den GPU-Speicher passen, ist die Generierung schnell. Wenn nicht, läuft ein Teil des Modells aus dem Arbeitsspeicher über PCIe und von der CPU, und die Geschwindigkeit sinkt stark. Die erste Frage bei jedem Modell ist daher seine Größe.
| Modell (Ollama-Tag) | Download | RTX 5080 (16 GB) | RTX 5090 (24 GB) | Geeignet für |
|---|---|---|---|---|
| qwen3:8b | 5,2 GB | Auf der GPU, langer Kontext | Auf der GPU | Schneller Allzweck-Assistent, Agenten, RAG |
| qwen3:14b | 9,3 GB | Auf der GPU | Auf der GPU | Stärkeres Schlussfolgern bei guter Geschwindigkeit |
| gpt-oss:20b (OpenAI, MoE) | 14 GB | Auf der GPU, kurzer bis mittlerer Kontext | Auf der GPU, längerer Kontext | Schlussfolgern, Tool-Nutzung, allgemeines Programmieren |
| gemma3:27b (Google) | 17 GB | Teilweise ausgelagert | Auf der GPU | Schreiben, Mehrsprachigkeit, Bilder als Eingabe |
| qwen3.8:27b | 18 GB | Teilweise ausgelagert | Auf der GPU | Programmieren, Recherche und Agentenaufgaben, Text und Bilder |
| qwen3-coder:30b (MoE, etwa 3B aktiv) | 19 GB | Experten ausgelagert, weiterhin nutzbar | Auf der GPU | Code-Vervollständigung und Coding-Agenten |
| nemotron-3.5-lightning:30b (NVIDIA, MoE, 3B aktiv) | 19–25 GB | Experten ausgelagert | Kleinere Quantisierung auf der GPU | Ständig laufende Agenten, bis zu 1M Kontext |
| qwen3:32b | 20 GB | Teilweise ausgelagert | Auf der GPU, kurzer Kontext | Qualität eines dichten 32B-Modells |
| llama3.3:70b (Meta) | 43 GB | GPU + Arbeitsspeicher (64 GB oder mehr): langsam, für Prüfungen in Ordnung | Vergleich mit einem Modell der Serverklasse | |
| gpt-oss:120b (OpenAI, MoE, 5,1B aktiv) | 65 GB | GPU + Arbeitsspeicher (96 GB oder mehr): dank MoE nutzbar | Offenes Schlussfolgern nahe der Spitzenklasse auf einem Laptop | |
| qwen3:235b (MoE) | 142 GB | GPU + 192 GB RAM: experimentell | Ein sehr großes Modell ausprobieren, bevor man einen Server kauft | |
Die Größen beziehen sich auf die Standard-Tags von Ollama, meist 4-Bit-Quantisierungen. Die Lizenzen unterscheiden sich (Apache 2.0, die Gemma-Bedingungen, die Llama-Lizenz von Meta, die Open-Model-Lizenz von NVIDIA und andere): Prüfen Sie jede Model Card, bevor Sie ein Modell kommerziell nutzen.
4. Die Speicherrechnung
Drei Dinge teilen sich den GPU-Speicher: die Gewichte, der KV-Cache und die Laufzeitumgebung.
Gewichte
weights ≈ parameters × bits per weight ÷ 8. Ein 14B-Modell hat bei 16 Bit 28 GB, bei 8 Bit etwa 14–15 GB und bei 4 Bit etwa 8–9 GB (4-Bit-Formate speichern pro Block etwas zusätzlich, daher sind reale Dateien etwas größer als ein halbes Byte pro Parameter). Der Qualitätsverlust bei einer guten 4-Bit-Quantisierung ist für die meisten Entwicklungsaufgaben gering; 8 Bit liegt nahe am Original. Blackwell-GPUs, einschließlich der RTX 50 Series, unterstützen außerdem FP4 und FP8 in Hardware, was Laufzeitumgebungen wie TensorRT-LLM und vLLM nutzen können.
KV-Cache
Für jedes Token im Kontext speichert jede Schicht einen Key und einen Value: KV bytes per token = 2 × layers × KV heads × head size × bytes per value. Für Llama 3.1 8B sind das 2 × 32 × 8 × 128 × 2 = 131.072 Bytes (128 KiB) bei 16 Bit. Er wächst linear mit der Kontextlänge und mit der Zahl gleichzeitig bedienter Anfragen.
Ein 8B-Modell, das auf der Festplatte 5 GB belegt, benötigt bei seinem vollen Kontext von 128K also etwa 23 GB. Drei Wege, es unterzubringen:
- Nutzen Sie den Kontext, den Sie brauchen. Die meiste Coding- und RAG-Arbeit kommt mit 16–32K aus. Laufzeitumgebungen reservieren den Cache für den eingestellten Kontext, also stellen Sie ihn ein.
- Quantisieren Sie den Cache. Ein 8-Bit-KV-Cache halbiert ihn bei geringem Qualitätsverlust; 4 Bit viertelt ihn. In Ollama setzen Sie
OLLAMA_FLASH_ATTENTION=1undOLLAMA_KV_CACHE_TYPE=q8_0; in llama.cpp verwenden Sie--cache-type-k q8_0 --cache-type-v q8_0. - Bevorzugen Sie Modelle mit Grouped-Query- oder einer anderen kompakten Attention. Weniger KV-Heads bedeuten einen kleineren Cache; die Model Card führt sie auf.
Laufzeitumgebung
Planen Sie 1–2 GB für den CUDA-Kontext, Aktivierungen und Puffer ein, und denken Sie daran, dass auch der Desktop etwas GPU-Speicher belegt, wenn Displays an der NVIDIA-GPU laufen. Prüfen Sie dies mit nvidia-smi, bevor Sie ein Modell laden.
Geschwindigkeit, und warum der Arbeitsspeicher trotzdem zählt
Für die Generierung jedes Tokens wird jedes aktive Gewicht einmal gelesen, daher ist die Generierungsgeschwindigkeit vor allem durch die Speicherbandbreite begrenzt: GDDR7 auf der GPU ist um ein Mehrfaches schneller als DDR5 im Laptop. Deshalb wird ein Modell langsamer, das in den Arbeitsspeicher überläuft, und deshalb sind Mixture-of-Experts-Modelle (MoE) die Ausnahme: gpt-oss-120b hat 117B Parameter, aber nur etwa 5,1B sind pro Token aktiv, sodass die gemeinsamen Schichten auf der GPU und die Experten im Arbeitsspeicher weiterhin eine nutzbare Geschwindigkeit ergeben. Für diese Art von Arbeit hilft mehr und schnellerer Arbeitsspeicher: Zwei Module mit 5600 MHz sind schneller als vier mit 4000 MHz, wählen Sie daher 96 GB (2 × 48 GB), sofern Sie nicht 128 oder 192 GB Kapazität benötigen.
Messen Sie mit Ihrer eigenen Arbeit: ollama run <model> --verbose gibt die Raten für Prompt-Verarbeitung und Generierung in Tokens pro Sekunde aus, und llama-bench leistet dasselbe für llama.cpp.
5. Ubuntu 26.04 für KI-Arbeit einrichten
Maschinen von uns werden mit installiertem und geprüftem NVIDIA-Treiber geliefert. Um eine Maschine zu prüfen oder neu aufzusetzen:
# Is the NVIDIA GPU visible, and which driver is in use?
nvidia-smi
# Ubuntu's recommended NVIDIA driver (signed for Secure Boot)
sudo ubuntu-drivers list
sudo ubuntu-drivers install
sudo reboot
# Laptops with two GPUs: run everything on the NVIDIA GPU, or only what asks for it
prime-select query
sudo prime-select nvidia # or: on-demand
Bei aktiviertem Secure Boot muss für einen lokal gebauten Treiber beim nächsten Start der Signaturschlüssel registriert werden (MOK); die paketierten Treiber von Ubuntu ersparen diesen Schritt. Beziehen Sie den Treiber aus dem Ubuntu-Archiv oder aus dem Repository von NVIDIA, nicht aus beiden.
Container mit GPU
Container halten CUDA-Versionen projektbezogen und entsprechen dem, was auf Servern läuft. Installieren Sie Docker (oder Podman), dann den NVIDIA Container Toolkit aus dem apt-Repository von NVIDIA gemäß der Installationsanleitung von NVIDIA, und binden Sie ihn ein:
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
# Test: the container should list the laptop GPU
docker run --rm --gpus all ubuntu nvidia-smi
Python
Verwenden Sie eine virtuelle Umgebung pro Projekt (uv oder venv) und installieren Sie PyTorch mit dem CUDA-Build, den die Installationsseite für Ihren Treiber empfiehlt. Prüfen Sie es mit python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))".
6. Modelle ausführen
Ollama: der schnellste Einstieg
curl -fsSL https://ollama.com/install.sh | sh
ollama run gpt-oss:20b # downloads once, then runs locally
ollama ps # shows how much of the model is on the GPU vs the CPU
ollama ps ist die erste Prüfung: „100% GPU“ ist das, was Sie sehen wollen. Wenn ein CPU-Anteil angezeigt wird, verringern Sie den Kontext, quantisieren Sie den KV-Cache oder wählen Sie ein kleineres Modell. Ollama lauscht auf 127.0.0.1:11434 und stellt unter /v1 eine OpenAI-kompatible API bereit, sodass die meisten Tools es unverändert nutzen können.
llama.cpp: volle Kontrolle
# All layers on the GPU, 32K context, 8-bit KV cache, OpenAI-compatible server on :8080
llama-server -m qwen3-14b-q4_k_m.gguf --n-gpu-layers 99 --ctx-size 32768 \
--cache-type-k q8_0 --cache-type-v q8_0 --host 127.0.0.1 --port 8080
# A MoE model bigger than GPU memory: keep shared layers on the GPU, put experts in system RAM
# (recent llama.cpp builds; raise the number until it fits)
llama-server -m gpt-oss-120b.gguf --n-gpu-layers 99 --n-cpu-moe 24 --ctx-size 16384
vLLM: am nächsten am produktiven Serving
pip install vllm
vllm serve Qwen/Qwen3-8B --max-model-len 16384 --gpu-memory-utilization 0.85
# OpenAI-compatible API on http://127.0.0.1:8000/v1
vLLM reserviert GPU-Speicher für seinen KV-Cache im Voraus, halten Sie die Modelle auf einer Laptop-GPU mit 16 GB daher klein und setzen Sie --max-model-len. Sein Wert liegt in der Gleichheit: derselbe Server, dieselben Flags und dieselbe API wie auf Ihren GPU-Servern.
LM Studio ist eine Desktop-App für dieselbe Aufgabe, mit Modell-Browser und lokaler API, nützlich für alle, die nicht im Terminal zu Hause sind.
7. Coding-Assistenten und Agenten mit einem lokalen Modell
Die meisten IDE-Assistenten, Coding-Agenten und Agenten-Frameworks akzeptieren eine OpenAI-kompatible Basis-URL. Richten Sie sie auf http://127.0.0.1:11434/v1 (Ollama), :8080/v1 (llama.cpp) oder :8000/v1 (vLLM). Praktische Optionen im November 2026:
- Vervollständigung beim Tippen: ein kleines, schnelles Modell (qwen3:8b oder ähnlich). Latenz zählt mehr als Größe.
- Chat und Refactoring: gpt-oss:20b bei 16 GB; qwen3-coder:30b oder qwen3.8:27b bei 24 GB.
- Agenten mit Tools: für Tool-Calling trainierte Modelle (gpt-oss, Qwen3-Familie, Nemotron 3.5 Lightning), mit genug Kontext für die Tool-Ergebnisse, typischerweise 32K oder mehr.
Behalten Sie für die schwierigsten Probleme ein gehostetes Frontier-Modell, sofern Ihre Richtlinien es erlauben; das lokale Modell bewältigt das alltägliche Volumen vertraulich. Viele Teams routen nach Aufgabe: standardmäßig lokal, gehostet auf Anfrage.
8. Fine-Tuning auf einem Laptop
Vollständiges Fine-Tuning selbst eines 7B-Modells benötigt weit mehr als 24 GB. LoRA und QLoRA trainieren kleine Adaptermatrizen auf eingefrorenen Gewichten (QLoRA hält das Basismodell in 4 Bit), was Fine-Tuning auf einen Laptop bringt:
- 16 GB (RTX 5080): QLoRA auf 7–8B-Modellen bei moderaten Sequenzlängen; bis etwa 14B mit speichersparenden Tools und kurzen Sequenzen.
- 24 GB (RTX 5090): QLoRA auf 14B komfortabel und bis etwa 30B mit kurzen Sequenzen.
- Darüber hinaus: 70B-Fine-Tunes und vollständige Fine-Tunes gehören auf einen Server (Abschnitt 11).
Verwenden Sie Hugging Face PEFT und TRL oder Unsloth für geringeren Speicherbedarf, mit Gradient Checkpointing und einer Batch-Größe von eins oder zwei plus Gradient Accumulation. Diese Bereiche hängen von Sequenzlänge, Rang und Tools ab: Beginnen Sie klein, beobachten Sie nvidia-smi und steigern Sie sich. Der Laptop ist ideal, um Datenformate, Hyperparameter und Evaluierungsskripte in einem kleinen Lauf zu prüfen, bevor Sie für einen langen bezahlen.
9. Leistung, Wärme und Akku
- Für GPU-Arbeit ans Netzteil. Im Akkubetrieb läuft die GPU mit reduzierter Leistung; das 330-W-Netzteil ermöglicht dauerhafte GPU-Lasten von 150 W und mehr.
- Beobachten Sie sie:
nvidia-smi dmon -s pucmstreamt Leistung, Auslastung, Takte und Speicher;nvidia-smi -q -d POWER,TEMPERATUREzeigt die Grenzwerte. - Lange Jobs: Halten Sie die Lüftungsöffnungen frei, nutzen Sie das Leistungsprofil und rechnen Sie mit Lüftergeräuschen. Für mehrstündige Jobs ist ein Desktop oder Server das bessere Werkzeug.
10. Sicherheit und Governance
- Verschlüsseln Sie die Festplatte. Vollständige Festplattenverschlüsselung (LUKS) schützt Code, Daten und Modelldateien, falls der Laptop verloren geht; auf Bestellung richten wir sie vor dem Versand ein.
- Halten Sie Modellserver lokal. Ollama, llama.cpp und vLLM haben standardmäßig keine Benutzerauthentifizierung. Binden Sie sie an
127.0.0.1; stellen Sie sie im Büro- oder öffentlichen WLAN niemals ohne einen authentifizierenden Proxy auf0.0.0.0bereit. - Wissen Sie, woher Modelle stammen. Laden Sie sie aus den offiziellen Repositorys des Herausgebers herunter, bevorzugen Sie safetensors und GGUF gegenüber Formaten, die beim Laden Code ausführen können, und führen Sie eine Liste freigegebener Modelle und ihrer Lizenzen.
- Verwalten Sie das Gerät. Updates, Festplattenverschlüsselung und Bildschirmsperren über Ihr normales Gerätemanagement; lokal verarbeitete Daten sind nach UK GDPR weiterhin personenbezogene Daten.
11. Wann Arbeit vom Laptop weg sollte
| Signal | Wechseln zu |
|---|---|
| Das Modell benötigt bei voller Geschwindigkeit mehr als 24 GB oder langen Kontext für viele Nutzer | Eine Workstation oder ein Server mit RTX PRO 6000 (96 GB) oder ein DGX-System |
| Ein Job läuft stundenlang oder blockiert die Maschine des Entwicklers | Ein gemeinsam genutzter GPU-Server, geplant |
| Mehrere Entwickler benötigen den ganzen Tag dasselbe Modell | Ein Team-Inferenz-Endpunkt statt vieler Kopien |
| Multi-GPU-Training oder produktives Serving | Cluster oder Cloud, bei Bedarf mit Datenresidenz in Großbritannien |
Noch nicht bereit zum Kauf? Workstation Rentals vermietet KI-Laptops und GPU-Workstations wochen- oder monatsweise, und GPU Leasing erklärt das Leasing.
12. Welche Konfiguration für welchen Entwickler
| Rolle | GPU | Arbeitsspeicher | Massenspeicher |
|---|---|---|---|
| Anwendungsentwickler, der KI nutzt (RAG, Agenten, Assistenten) | RTX 5080, 16 GB | 64 GB | 2 TB |
| KI-Ingenieur (Evaluierung, Fine-Tuning, 27–32B-Modelle) | RTX 5090, 24 GB | 96 GB (2 × 48 GB, am schnellsten) | 4 TB |
| Forscher, der sehr große MoE-Modelle lokal ausprobiert | RTX 5090, 24 GB | 128–192 GB | 4 TB oder mehr |
| Data Scientist (Notebooks, klassisches ML, kleine Modelle) | RTX 5080, 16 GB | 64–96 GB | 2–4 TB |
13. Häufig gestellte Fragen
Kann ein Laptop wirklich ein 120B-Modell ausführen? gpt-oss-120b ja, mit 96 GB oder mehr Arbeitsspeicher, weil pro Token nur etwa 5,1B Parameter aktiv sind. Dichte 70B-Modelle laufen ebenfalls, aber langsam; nutzen Sie sie zum Vergleichen von Antworten, nicht für interaktive Arbeit.
16 GB oder 24 GB? 16 GB decken die Klasse 8–20B ab, die den Großteil der Entwicklungsarbeit bewältigt. Wählen Sie 24 GB, wenn Sie mit 27–32B-Modellen, langen Kontexten oder Fine-Tuning über 8B arbeiten.
Warum Linux statt Windows? Server, Container und die meisten KI-Tools sind Linux-first. Die Entwicklung auf demselben Betriebssystem beseitigt eine ganze Klasse von „Bei mir funktioniert es“-Problemen.
Ersetzt ein lokales Modell gehostete Frontier-Modelle? Nicht für die schwierigsten Aufgaben. Es übernimmt das alltägliche Volumen vertraulich und günstig; behalten Sie ein gehostetes Modell für das, was es erfordert, sofern die Richtlinien es erlauben.
Was ist mit Apple Silicon? Macs mit großem Unified Memory führen große Modelle mit MLX gut aus, aber ohne CUDA. Wenn Ihre Server NVIDIA und Linux sind, hält ein NVIDIA-Linux-Laptop den Stack identisch.
Quellen
- NVIDIA, Spezifikationen der GeForce RTX 50 Series für Laptops (CUDA-Kerne, AI TOPS, Speicher, Busbreite, GPU-Leistungsbereich), geprüft am 18. November 2026.
- Seiten der Ollama-Bibliothek zu qwen3, gpt-oss, gemma3, qwen3.8, qwen3-coder, nemotron-3.5-lightning und llama3.3 (Download-Größen und Beschreibungen), geprüft am 18. November 2026.
- OpenAI, Model Card zu gpt-oss (117B Parameter insgesamt und etwa 5,1B aktive Parameter für gpt-oss-120b).
- Meta, Konfiguration von Llama 3.1 8B (32 Schichten, 8 KV-Heads, Head-Größe 128), verwendet für das KV-Cache-Beispiel.
- Juno Computers, Spezifikationen des Neptune 18"; Eintrag im Workstation-Shop (Konfiguration, Preis und Versandzeit).
- Die Befehle folgen der Dokumentation von Ubuntu, NVIDIA Container Toolkit, Ollama, llama.cpp und vLLM; Flags ändern sich zwischen Releases, prüfen Sie daher die aktuelle Dokumentation.
Hinweis zu Schutzrechten: NVIDIA, GeForce, RTX, CUDA, cuDNN, NCCL, TensorRT, DGX, Blackwell und Nemotron sind Marken der NVIDIA Corporation. Intel und Core Ultra sind Marken der Intel Corporation. Ubuntu und Kubuntu sind Marken der Canonical Ltd. Juno und Neptune sind Namen der Juno Computers Ltd. Llama ist eine Marke der Meta Platforms, Inc.; Gemma der Google LLC; Qwen von Alibaba Cloud; gpt-oss und OpenAI von OpenAI. Andere Namen sind Eigentum ihrer jeweiligen Inhaber. Dieser Artikel ist unabhängig und wird von keinem dieser Unternehmen unterstützt.