Der Shop ist online

Wir bauen Workstation AI-Maschinen für Websites, KI-Agenten und LLM-Training – online konfigurieren und kaufen.

Händlerpreise erhalten
KI-Produkte
KI-LabsOpenAI-AgentenClaude-AgentenGrok-BotWorkstation AI-natives CRMMarketingAlle Produkte
KI-Lösungen
Angewandte KIKI-AgentenGenerative KIKI-AutomatisierungKI-WeiterbildungKI-Pakete für KMUEnterprise AI LabKI-WorkstationsNVIDIA-Hardware & -SoftwareNVIDIA Accelerated ComputingPrivate KIGPU-Private-CloudGPU-ClusterEdge-KIKI nach Branche
KI-Services
PlattformmodernisierungDigital EngineeringDatengrundlagen & KIAutonomer BetriebKI-BeratungDevOps-AutomatisierungCybersicherheitSoftwareentwicklungAgentenentwicklungMLOps-EinrichtungGPU-LeasingGPU-Private-Cloud
Über uns
UnternehmenUnsere GeschichtePartnerKundengeschichten
KI-Rechenzentren
KI-RechenzentrenGPU-Private-CloudGPU-ClusterGPU-Leasing
KI-EinblickeJev-ReiheBenchmark LabModellauswahl
Technische Hinweise
Dokumentation
Linux-BetriebssystemeUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
KI-Cloud-PlattformenAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryGPU-Clouds & Marktplätze
Private KI-RechenzentrenFür AnwaltskanzleienFür Steuer- und WirtschaftsprüfungskanzleienOn-Premises-PlattformenVollständig abgesicherte Cloud
ToolsRing PromoterJobshout
News
Blog
KontaktAnmelden

KI-Workstations, Multi-Agenten-KI-Software, GPU-Infrastruktur und intelligente Agentenlösungen für moderne Unternehmen.

Kontakt

KI-Lösungen

Angewandte KIKI-AgentenGenerative KIKI-AutomatisierungKI-WeiterbildungKI-Pakete für KMUEnterprise AI LabKI nach Branche

Produkte

Alle ProdukteWorkstation AI-natives CRM & ERPMarketingOpenAI-AgentenRing PromoterJobshout

Unternehmen

Über unsUnternehmenKI-RechenzentrenWarum WorkstationPartnerKundengeschichtenPreiseKontaktTenthMatrix

Ressourcen

KI-EinblickeTechnische HinweiseDokumentationLinux-BetriebssystemeKI-Cloud-PlattformenPrivate KI-RechenzentrenBlogSucheSitemap
Büro Belgien
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683Mo – Fr: 9:00 – 18:00 Uhr MEZ
+32 492 45 67 46
Hauptsitz Großbritannien
77-79 Marlowes, Hemel Hempstead HP1 1LFAnfahrt – Ausfahrt 20 der M25 (Outer London)Handelsregisternr.: 11641870Mo – Fr: 9:00 – 18:00 Uhr GMT
+44 7515 356 146
Büro Indien
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841
Büro Taiwan
3F, No. 2-4, Aisi Rd., Ren'ai Dist., Keelung City 200, Taiwan基隆市仁愛區愛四路2之4號3樓Mo – Fr: 9:00 – 18:00 Uhr Taiwan-Zeit (GMT+8)
+886 926 892 701+32 492 45 67 46
Büro Estland
Aleksander Puškini tn 30-25, 20306 Narva, EstoniaMo - Fr: 9:00 - 18:00 Uhr estnischer Zeit (EET)
+32 492 45 67 46

© 2026 Workstation AI. Alle Rechte vorbehalten.

DatenschutzDatenlöschungCookiesNutzungsbedingungenWebsite-Sitemap

NVIDIA, das NVIDIA-Logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX und HGX sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den USA und anderen Ländern. AMD, das AMD-Arrow-Logo, EPYC, Instinct, Ryzen und Threadripper sind Marken von Advanced Micro Devices, Inc. Dell und PowerEdge sind Marken der Dell Inc. oder ihrer Tochtergesellschaften. Intel und Xeon sind Marken der Intel Corporation oder ihrer Tochtergesellschaften. AMAX, AceleMax und LiquidMax sind Marken der AMAX Engineering Corporation. Alle anderen Produktnamen, Logos und Marken sind Eigentum ihrer jeweiligen Inhaber. Wir verwenden sie ausschließlich, um die Produkte zu kennzeichnen, die wir beschreiben, liefern oder unterstützen; ihre Verwendung bedeutet nicht, dass ihre Inhaber uns empfehlen.

Startseite / Technische Hinweise / Technology
AIHardwareLinuxLLMs

Laptops für KI-Entwickler: LLMs lokal unter Linux mit GPUs mit 16 GB und 24 GB betreiben (Leitfaden 2026)

Was auf eine RTX 5080 oder RTX 5090 Laptop GPU passt, die Speicherrechnung, die lohnenden offenen Modelle, die Einrichtung von Ubuntu 26.04 mit dem NVIDIA-Stack, Ollama, llama.cpp und vLLM, Coding-Assistenten, LoRA-Fine-Tuning, Sicherheit und wann Arbeit auf einen Server gehört

18. November 2026Technology15 min read

Ein Praxisleitfaden für Engineering-Leads und Entwickler, die große Sprachmodelle (LLMs) auf dem eigenen Laptop des Entwicklers unter Linux betreiben möchten statt auf einem gemeinsam genutzten Server oder einer Cloud-GPU. Er behandelt, was in 16 GB und 24 GB Laptop-GPU-Speicher passt, die Rechnung dahinter, die lohnenden offenen Modelle im November 2026, die Einrichtung von Ubuntu 26.04 mit dem NVIDIA-Stack, den Betrieb von Modellen mit Ollama, llama.cpp und vLLM, die Anbindung an Coding-Tools, Fine-Tuning mit LoRA, Leistungsaufnahme und Wärme, Sicherheit sowie die Frage, wann ein Job auf einen Server oder in die Cloud gehört.

Illustration eines 18-Zoll-Laptops, der gpt-oss:20b lokal ausführt, mit den 16 GB der RTX 5080 Laptop GPU, den 24 GB der RTX 5090 Laptop GPU, bis zu 192 GB DDR5 und Ubuntu 26.04 LTS.

Zusammenfassung. Der GPU-Speicher entscheidet, was ein Laptop ausführen kann. Eine RTX 5080 Laptop GPU (16 GB) führt die besten offenen Modelle der Klasse 8–20B von heute vollständig auf der GPU aus, darunter gpt-oss-20b von OpenAI; eine RTX 5090 Laptop GPU (24 GB) ergänzt die Klasse 27–32B, etwa Gemma 3 27B, Qwen3.8 27B, Qwen3-Coder 30B und Nemotron 3.5 Lightning von NVIDIA. Größere Modelle (Llama 3.3 70B, gpt-oss-120b) laufen, indem die Arbeit zwischen GPU und Arbeitsspeicher aufgeteilt wird, langsamer, aber nützlich, weshalb 96–192 GB DDR5 wichtig sind. Planen Sie neben dem Modell auch den KV-Cache ein: Bei langem Kontext kann er so groß werden wie das Modell selbst. Unter Linux läuft auf dem Laptop derselbe Treiber, dasselbe CUDA und dieselben Container wie auf Ihren GPU-Servern, sodass die innere Entwicklungsschleife am Schreibtisch bleibt und nur die schweren Jobs auf einen Server oder in die Cloud wandern.

Diese Technote begleitet unseren Blogbeitrag Laptops für KI-Entwickler: Warum jedes KI-Team seinen Entwicklern eine eigene GPU geben sollte, der den Business Case darlegt. Die Beispielmaschine ist das Juno Neptune 18", ein 18-Zoll-Linux-Laptop, den wir verkaufen. Die Modellgrößen stammen aus der Ollama-Bibliothek und die GPU-Angaben von NVIDIA, geprüft am 18. November 2026. Die Geschwindigkeiten hängen von Modell, Quantisierung, Kontext und Energieeinstellungen ab, daher erklären wir, wie man misst, statt Benchmark-Zahlen zu nennen.

1. Warum die GPU auf den Schreibtisch des Entwicklers gehört

Der Großteil der KI-Entwicklung ist eine innere Schleife: einen Prompt, einen Retrieval-Schritt, eine Tool-Definition oder ein paar Codezeilen ändern, ausführen, die Ausgabe lesen, wiederholen. Diese Schleife läuft Hunderte Male am Tag. Wenn jeder Durchlauf auf eine gemeinsam genutzte GPU, den Start einer Cloud-Instanz oder eine API mit Ratenbegrenzung wartet, bündeln Entwickler ihre Änderungen und lernen langsamer. Ein lokales Modell antwortet in Sekunden, funktioniert offline und kostet nichts pro Aufruf.

  • Datenschutz. Quellcode, Kundendaten und Prompts verlassen nie ein vom Unternehmen verwaltetes Gerät. Das vereinfacht Prüfungen nach UK GDPR und Kundenverträge, die das Senden von Daten an APIs Dritter untersagen.
  • Realismus. Entwickler sehen die echten Grenzen offener Modelle (Kontextlänge, Quantisierung, Speicher), bevor die Produktion sie zu spüren bekommt.
  • Gleichheit. Linux, der NVIDIA-Treiber, CUDA und Container sind dieselben wie auf Ihren GPU-Servern, sodass ein Prototyp ohne Änderungen auf einen Server wandert.
  • Verfügbarkeit. Keine Warteschlange, kein Kontingent, keine Abhängigkeit von Ausfällen während der Entwicklung.

Ein Laptop ersetzt keine Server. Training, große Fine-Tunes, lange Evaluierungsläufe und produktives Serving gehören auf einen gemeinsam genutzten GPU-Server oder einen Cluster (Abschnitt 11).

2. Die Maschine

Die für KI-Arbeit relevanten Kennzahlen des Neptune 18" in der Konfiguration aus unserem Shop. Die GPU-Angaben stammen von NVIDIA, die übrigen vom Hersteller.

KomponenteSpezifikationWarum es wichtig ist
GPU (Standard)NVIDIA GeForce RTX 5080 Laptop GPU: 16 GB GDDR7, 256 Bit, 7.680 CUDA-Kerne, 1.334 AI TOPSHält Modelle der Klasse 8–20B und deren KV-Cache auf der GPU
GPU (auf Anfrage)NVIDIA GeForce RTX 5090 Laptop GPU: 24 GB GDDR7, 256 Bit, 10.496 CUDA-Kerne, 1.824 AI TOPSErgänzt die Klasse 27–32B und längeren Kontext
GPU-Leistung150 W + 25 W Dynamic Boost in diesem Gehäuse (NVIDIA-Bereiche: 80–150 W für die RTX 5080, 95–150 W für die RTX 5090 Laptop GPU)Die Dauergeschwindigkeit hängt von der Leistung ab; lange Jobs am Netzteil laufen lassen
CPUIntel Core Ultra 9 290HX Plus, 24 Kerne (8P + 16E), bis 5,5 GHz; 55 W Basis, 160 W maximalTokenisierung, Laden von Daten und CPU-Auslagerung von Modellschichten
Arbeitsspeicher32 bis 192 GB DDR5 (2 Module mit 5600 MHz bis 96 GB; 4 Module mit 4000 MHz für 128 und 192 GB)Platz für Modelle, die größer als der GPU-Speicher sind (Abschnitt 4)
Massenspeicher1 × PCIe Gen 5 + 3 × PCIe Gen 4 M.2 2280, bis 16 TBModelldateien sind je 5–140 GB groß; halten Sie eine Bibliothek lokal vor
Display18" 16:10, QHD+ 240 Hz (RTX 5080) oder UHD+ 200 Hz (RTX 5090), 100 % DCI-P3Platz für Code, Terminal und Notebook nebeneinander
Anschlüsse2 × Thunderbolt 4 / USB-C, 2 × USB-A, HDMI und Mini DisplayPort (mit der NVIDIA-GPU verbunden), 2,5 Gb Ethernet, Wi-Fi 7Schnelle Übertragung von Modellen und Datensätzen
Stromversorgung99-Wh-Akku, 330-W-NetzteilGPU-Arbeit findet am Netzteil statt
SoftwareKubuntu oder Ubuntu 26.04 LTS vorinstalliertDieselbe Betriebssystemfamilie wie auf den meisten GPU-Servern

3. Was passt: Der GPU-Speicher entscheidet

Wenn die Gewichte eines Modells, sein KV-Cache und die Laufzeitumgebung vollständig in den GPU-Speicher passen, ist die Generierung schnell. Wenn nicht, läuft ein Teil des Modells aus dem Arbeitsspeicher über PCIe und von der CPU, und die Geschwindigkeit sinkt stark. Die erste Frage bei jedem Modell ist daher seine Größe.

Balkendiagramm der Download-Größen von Modellen gegenüber Linien bei 16 GB und 24 GB. Passen in 16 GB: qwen3:8b 5,2 GB, qwen3:14b 9,3 GB, gpt-oss:20b 14 GB. Benötigen 24 GB: gemma3:27b 17 GB, qwen3.8:27b 18 GB, qwen3-coder:30b und nemotron-3.5-lightning:30b 19 GB, qwen3:32b 20 GB. Benötigen zusätzlich Arbeitsspeicher: llama3.3:70b 43 GB, gpt-oss:120b 65 GB, qwen3:235b 142 GB.

Modell (Ollama-Tag)DownloadRTX 5080 (16 GB)RTX 5090 (24 GB)Geeignet für
qwen3:8b5,2 GBAuf der GPU, langer KontextAuf der GPUSchneller Allzweck-Assistent, Agenten, RAG
qwen3:14b9,3 GBAuf der GPUAuf der GPUStärkeres Schlussfolgern bei guter Geschwindigkeit
gpt-oss:20b (OpenAI, MoE)14 GBAuf der GPU, kurzer bis mittlerer KontextAuf der GPU, längerer KontextSchlussfolgern, Tool-Nutzung, allgemeines Programmieren
gemma3:27b (Google)17 GBTeilweise ausgelagertAuf der GPUSchreiben, Mehrsprachigkeit, Bilder als Eingabe
qwen3.8:27b18 GBTeilweise ausgelagertAuf der GPUProgrammieren, Recherche und Agentenaufgaben, Text und Bilder
qwen3-coder:30b (MoE, etwa 3B aktiv)19 GBExperten ausgelagert, weiterhin nutzbarAuf der GPUCode-Vervollständigung und Coding-Agenten
nemotron-3.5-lightning:30b (NVIDIA, MoE, 3B aktiv)19–25 GBExperten ausgelagertKleinere Quantisierung auf der GPUStändig laufende Agenten, bis zu 1M Kontext
qwen3:32b20 GBTeilweise ausgelagertAuf der GPU, kurzer KontextQualität eines dichten 32B-Modells
llama3.3:70b (Meta)43 GBGPU + Arbeitsspeicher (64 GB oder mehr): langsam, für Prüfungen in OrdnungVergleich mit einem Modell der Serverklasse
gpt-oss:120b (OpenAI, MoE, 5,1B aktiv)65 GBGPU + Arbeitsspeicher (96 GB oder mehr): dank MoE nutzbarOffenes Schlussfolgern nahe der Spitzenklasse auf einem Laptop
qwen3:235b (MoE)142 GBGPU + 192 GB RAM: experimentellEin sehr großes Modell ausprobieren, bevor man einen Server kauft

Die Größen beziehen sich auf die Standard-Tags von Ollama, meist 4-Bit-Quantisierungen. Die Lizenzen unterscheiden sich (Apache 2.0, die Gemma-Bedingungen, die Llama-Lizenz von Meta, die Open-Model-Lizenz von NVIDIA und andere): Prüfen Sie jede Model Card, bevor Sie ein Modell kommerziell nutzen.

4. Die Speicherrechnung

Drei Dinge teilen sich den GPU-Speicher: die Gewichte, der KV-Cache und die Laufzeitumgebung.

Gewichte

weights ≈ parameters × bits per weight ÷ 8. Ein 14B-Modell hat bei 16 Bit 28 GB, bei 8 Bit etwa 14–15 GB und bei 4 Bit etwa 8–9 GB (4-Bit-Formate speichern pro Block etwas zusätzlich, daher sind reale Dateien etwas größer als ein halbes Byte pro Parameter). Der Qualitätsverlust bei einer guten 4-Bit-Quantisierung ist für die meisten Entwicklungsaufgaben gering; 8 Bit liegt nahe am Original. Blackwell-GPUs, einschließlich der RTX 50 Series, unterstützen außerdem FP4 und FP8 in Hardware, was Laufzeitumgebungen wie TensorRT-LLM und vLLM nutzen können.

KV-Cache

Für jedes Token im Kontext speichert jede Schicht einen Key und einen Value: KV bytes per token = 2 × layers × KV heads × head size × bytes per value. Für Llama 3.1 8B sind das 2 × 32 × 8 × 128 × 2 = 131.072 Bytes (128 KiB) bei 16 Bit. Er wächst linear mit der Kontextlänge und mit der Zahl gleichzeitig bedienter Anfragen.

Gestapelte Balken für Llama 3.1 8B in 4 Bit: Bei 8K Tokens ergeben 4,9 GB Gewichte, 1,1 GB KV-Cache und 1 GB Laufzeit zusammen 7,0 GB. Bei 32K ergeben 4,3 GB Cache 10,2 GB. Bei 128K ergeben 17,2 GB Cache 23,1 GB, mehr als 16 GB und knapp unter 24 GB.

Ein 8B-Modell, das auf der Festplatte 5 GB belegt, benötigt bei seinem vollen Kontext von 128K also etwa 23 GB. Drei Wege, es unterzubringen:

  • Nutzen Sie den Kontext, den Sie brauchen. Die meiste Coding- und RAG-Arbeit kommt mit 16–32K aus. Laufzeitumgebungen reservieren den Cache für den eingestellten Kontext, also stellen Sie ihn ein.
  • Quantisieren Sie den Cache. Ein 8-Bit-KV-Cache halbiert ihn bei geringem Qualitätsverlust; 4 Bit viertelt ihn. In Ollama setzen Sie OLLAMA_FLASH_ATTENTION=1 und OLLAMA_KV_CACHE_TYPE=q8_0; in llama.cpp verwenden Sie --cache-type-k q8_0 --cache-type-v q8_0.
  • Bevorzugen Sie Modelle mit Grouped-Query- oder einer anderen kompakten Attention. Weniger KV-Heads bedeuten einen kleineren Cache; die Model Card führt sie auf.

Laufzeitumgebung

Planen Sie 1–2 GB für den CUDA-Kontext, Aktivierungen und Puffer ein, und denken Sie daran, dass auch der Desktop etwas GPU-Speicher belegt, wenn Displays an der NVIDIA-GPU laufen. Prüfen Sie dies mit nvidia-smi, bevor Sie ein Modell laden.

Geschwindigkeit, und warum der Arbeitsspeicher trotzdem zählt

Für die Generierung jedes Tokens wird jedes aktive Gewicht einmal gelesen, daher ist die Generierungsgeschwindigkeit vor allem durch die Speicherbandbreite begrenzt: GDDR7 auf der GPU ist um ein Mehrfaches schneller als DDR5 im Laptop. Deshalb wird ein Modell langsamer, das in den Arbeitsspeicher überläuft, und deshalb sind Mixture-of-Experts-Modelle (MoE) die Ausnahme: gpt-oss-120b hat 117B Parameter, aber nur etwa 5,1B sind pro Token aktiv, sodass die gemeinsamen Schichten auf der GPU und die Experten im Arbeitsspeicher weiterhin eine nutzbare Geschwindigkeit ergeben. Für diese Art von Arbeit hilft mehr und schnellerer Arbeitsspeicher: Zwei Module mit 5600 MHz sind schneller als vier mit 4000 MHz, wählen Sie daher 96 GB (2 × 48 GB), sofern Sie nicht 128 oder 192 GB Kapazität benötigen.

Messen Sie mit Ihrer eigenen Arbeit: ollama run <model> --verbose gibt die Raten für Prompt-Verarbeitung und Generierung in Tokens pro Sekunde aus, und llama-bench leistet dasselbe für llama.cpp.

5. Ubuntu 26.04 für KI-Arbeit einrichten

Der Linux-KI-Stack in sieben Schichten: Ihre Arbeit; Modell-Laufzeitumgebungen wie Ollama, llama.cpp, LM Studio, vLLM, SGLang und TensorRT-LLM; Frameworks wie PyTorch, Transformers, PEFT und Unsloth; Docker oder Podman mit dem NVIDIA Container Toolkit; der NVIDIA-Treiber, CUDA, cuDNN und NCCL; Ubuntu 26.04 LTS; und die Hardware.

Maschinen von uns werden mit installiertem und geprüftem NVIDIA-Treiber geliefert. Um eine Maschine zu prüfen oder neu aufzusetzen:

# Is the NVIDIA GPU visible, and which driver is in use?
nvidia-smi

# Ubuntu's recommended NVIDIA driver (signed for Secure Boot)
sudo ubuntu-drivers list
sudo ubuntu-drivers install
sudo reboot

# Laptops with two GPUs: run everything on the NVIDIA GPU, or only what asks for it
prime-select query
sudo prime-select nvidia       # or: on-demand

Bei aktiviertem Secure Boot muss für einen lokal gebauten Treiber beim nächsten Start der Signaturschlüssel registriert werden (MOK); die paketierten Treiber von Ubuntu ersparen diesen Schritt. Beziehen Sie den Treiber aus dem Ubuntu-Archiv oder aus dem Repository von NVIDIA, nicht aus beiden.

Container mit GPU

Container halten CUDA-Versionen projektbezogen und entsprechen dem, was auf Servern läuft. Installieren Sie Docker (oder Podman), dann den NVIDIA Container Toolkit aus dem apt-Repository von NVIDIA gemäß der Installationsanleitung von NVIDIA, und binden Sie ihn ein:

sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Test: the container should list the laptop GPU
docker run --rm --gpus all ubuntu nvidia-smi

Python

Verwenden Sie eine virtuelle Umgebung pro Projekt (uv oder venv) und installieren Sie PyTorch mit dem CUDA-Build, den die Installationsseite für Ihren Treiber empfiehlt. Prüfen Sie es mit python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))".

6. Modelle ausführen

Ollama: der schnellste Einstieg

curl -fsSL https://ollama.com/install.sh | sh
ollama run gpt-oss:20b            # downloads once, then runs locally
ollama ps                         # shows how much of the model is on the GPU vs the CPU

ollama ps ist die erste Prüfung: „100% GPU“ ist das, was Sie sehen wollen. Wenn ein CPU-Anteil angezeigt wird, verringern Sie den Kontext, quantisieren Sie den KV-Cache oder wählen Sie ein kleineres Modell. Ollama lauscht auf 127.0.0.1:11434 und stellt unter /v1 eine OpenAI-kompatible API bereit, sodass die meisten Tools es unverändert nutzen können.

llama.cpp: volle Kontrolle

# All layers on the GPU, 32K context, 8-bit KV cache, OpenAI-compatible server on :8080
llama-server -m qwen3-14b-q4_k_m.gguf --n-gpu-layers 99 --ctx-size 32768 \
  --cache-type-k q8_0 --cache-type-v q8_0 --host 127.0.0.1 --port 8080

# A MoE model bigger than GPU memory: keep shared layers on the GPU, put experts in system RAM
# (recent llama.cpp builds; raise the number until it fits)
llama-server -m gpt-oss-120b.gguf --n-gpu-layers 99 --n-cpu-moe 24 --ctx-size 16384

vLLM: am nächsten am produktiven Serving

pip install vllm
vllm serve Qwen/Qwen3-8B --max-model-len 16384 --gpu-memory-utilization 0.85
# OpenAI-compatible API on http://127.0.0.1:8000/v1

vLLM reserviert GPU-Speicher für seinen KV-Cache im Voraus, halten Sie die Modelle auf einer Laptop-GPU mit 16 GB daher klein und setzen Sie --max-model-len. Sein Wert liegt in der Gleichheit: derselbe Server, dieselben Flags und dieselbe API wie auf Ihren GPU-Servern.

LM Studio ist eine Desktop-App für dieselbe Aufgabe, mit Modell-Browser und lokaler API, nützlich für alle, die nicht im Terminal zu Hause sind.

7. Coding-Assistenten und Agenten mit einem lokalen Modell

Die meisten IDE-Assistenten, Coding-Agenten und Agenten-Frameworks akzeptieren eine OpenAI-kompatible Basis-URL. Richten Sie sie auf http://127.0.0.1:11434/v1 (Ollama), :8080/v1 (llama.cpp) oder :8000/v1 (vLLM). Praktische Optionen im November 2026:

  • Vervollständigung beim Tippen: ein kleines, schnelles Modell (qwen3:8b oder ähnlich). Latenz zählt mehr als Größe.
  • Chat und Refactoring: gpt-oss:20b bei 16 GB; qwen3-coder:30b oder qwen3.8:27b bei 24 GB.
  • Agenten mit Tools: für Tool-Calling trainierte Modelle (gpt-oss, Qwen3-Familie, Nemotron 3.5 Lightning), mit genug Kontext für die Tool-Ergebnisse, typischerweise 32K oder mehr.

Behalten Sie für die schwierigsten Probleme ein gehostetes Frontier-Modell, sofern Ihre Richtlinien es erlauben; das lokale Modell bewältigt das alltägliche Volumen vertraulich. Viele Teams routen nach Aufgabe: standardmäßig lokal, gehostet auf Anfrage.

8. Fine-Tuning auf einem Laptop

Vollständiges Fine-Tuning selbst eines 7B-Modells benötigt weit mehr als 24 GB. LoRA und QLoRA trainieren kleine Adaptermatrizen auf eingefrorenen Gewichten (QLoRA hält das Basismodell in 4 Bit), was Fine-Tuning auf einen Laptop bringt:

  • 16 GB (RTX 5080): QLoRA auf 7–8B-Modellen bei moderaten Sequenzlängen; bis etwa 14B mit speichersparenden Tools und kurzen Sequenzen.
  • 24 GB (RTX 5090): QLoRA auf 14B komfortabel und bis etwa 30B mit kurzen Sequenzen.
  • Darüber hinaus: 70B-Fine-Tunes und vollständige Fine-Tunes gehören auf einen Server (Abschnitt 11).

Verwenden Sie Hugging Face PEFT und TRL oder Unsloth für geringeren Speicherbedarf, mit Gradient Checkpointing und einer Batch-Größe von eins oder zwei plus Gradient Accumulation. Diese Bereiche hängen von Sequenzlänge, Rang und Tools ab: Beginnen Sie klein, beobachten Sie nvidia-smi und steigern Sie sich. Der Laptop ist ideal, um Datenformate, Hyperparameter und Evaluierungsskripte in einem kleinen Lauf zu prüfen, bevor Sie für einen langen bezahlen.

9. Leistung, Wärme und Akku

  • Für GPU-Arbeit ans Netzteil. Im Akkubetrieb läuft die GPU mit reduzierter Leistung; das 330-W-Netzteil ermöglicht dauerhafte GPU-Lasten von 150 W und mehr.
  • Beobachten Sie sie: nvidia-smi dmon -s pucm streamt Leistung, Auslastung, Takte und Speicher; nvidia-smi -q -d POWER,TEMPERATURE zeigt die Grenzwerte.
  • Lange Jobs: Halten Sie die Lüftungsöffnungen frei, nutzen Sie das Leistungsprofil und rechnen Sie mit Lüftergeräuschen. Für mehrstündige Jobs ist ein Desktop oder Server das bessere Werkzeug.

10. Sicherheit und Governance

  • Verschlüsseln Sie die Festplatte. Vollständige Festplattenverschlüsselung (LUKS) schützt Code, Daten und Modelldateien, falls der Laptop verloren geht; auf Bestellung richten wir sie vor dem Versand ein.
  • Halten Sie Modellserver lokal. Ollama, llama.cpp und vLLM haben standardmäßig keine Benutzerauthentifizierung. Binden Sie sie an 127.0.0.1; stellen Sie sie im Büro- oder öffentlichen WLAN niemals ohne einen authentifizierenden Proxy auf 0.0.0.0 bereit.
  • Wissen Sie, woher Modelle stammen. Laden Sie sie aus den offiziellen Repositorys des Herausgebers herunter, bevorzugen Sie safetensors und GGUF gegenüber Formaten, die beim Laden Code ausführen können, und führen Sie eine Liste freigegebener Modelle und ihrer Lizenzen.
  • Verwalten Sie das Gerät. Updates, Festplattenverschlüsselung und Bildschirmsperren über Ihr normales Gerätemanagement; lokal verarbeitete Daten sind nach UK GDPR weiterhin personenbezogene Daten.

11. Wann Arbeit vom Laptop weg sollte

Drei Spalten: auf dem Laptop die tägliche innere Schleife aus Prompts, Coding-Assistenten, RAG-Prototypen, Tests, kleinen LoRA-Fine-Tunes und Offline-Arbeit; auf einem gemeinsam genutzten GPU-Server wöchentliche Team-Evaluierungen, Fine-Tunes von 30 bis 70B, ein Team-Endpunkt, Jobs mit langem Kontext und Modelle über 24 GB; auf einem Cluster oder in der Cloud Lastspitzen wie Pre-Training, produktives Serving, Lasttests und Multi-Node-Jobs.

SignalWechseln zu
Das Modell benötigt bei voller Geschwindigkeit mehr als 24 GB oder langen Kontext für viele NutzerEine Workstation oder ein Server mit RTX PRO 6000 (96 GB) oder ein DGX-System
Ein Job läuft stundenlang oder blockiert die Maschine des EntwicklersEin gemeinsam genutzter GPU-Server, geplant
Mehrere Entwickler benötigen den ganzen Tag dasselbe ModellEin Team-Inferenz-Endpunkt statt vieler Kopien
Multi-GPU-Training oder produktives ServingCluster oder Cloud, bei Bedarf mit Datenresidenz in Großbritannien

Noch nicht bereit zum Kauf? Workstation Rentals vermietet KI-Laptops und GPU-Workstations wochen- oder monatsweise, und GPU Leasing erklärt das Leasing.

12. Welche Konfiguration für welchen Entwickler

RolleGPUArbeitsspeicherMassenspeicher
Anwendungsentwickler, der KI nutzt (RAG, Agenten, Assistenten)RTX 5080, 16 GB64 GB2 TB
KI-Ingenieur (Evaluierung, Fine-Tuning, 27–32B-Modelle)RTX 5090, 24 GB96 GB (2 × 48 GB, am schnellsten)4 TB
Forscher, der sehr große MoE-Modelle lokal ausprobiertRTX 5090, 24 GB128–192 GB4 TB oder mehr
Data Scientist (Notebooks, klassisches ML, kleine Modelle)RTX 5080, 16 GB64–96 GB2–4 TB

13. Häufig gestellte Fragen

Kann ein Laptop wirklich ein 120B-Modell ausführen? gpt-oss-120b ja, mit 96 GB oder mehr Arbeitsspeicher, weil pro Token nur etwa 5,1B Parameter aktiv sind. Dichte 70B-Modelle laufen ebenfalls, aber langsam; nutzen Sie sie zum Vergleichen von Antworten, nicht für interaktive Arbeit.

16 GB oder 24 GB? 16 GB decken die Klasse 8–20B ab, die den Großteil der Entwicklungsarbeit bewältigt. Wählen Sie 24 GB, wenn Sie mit 27–32B-Modellen, langen Kontexten oder Fine-Tuning über 8B arbeiten.

Warum Linux statt Windows? Server, Container und die meisten KI-Tools sind Linux-first. Die Entwicklung auf demselben Betriebssystem beseitigt eine ganze Klasse von „Bei mir funktioniert es“-Problemen.

Ersetzt ein lokales Modell gehostete Frontier-Modelle? Nicht für die schwierigsten Aufgaben. Es übernimmt das alltägliche Volumen vertraulich und günstig; behalten Sie ein gehostetes Modell für das, was es erfordert, sofern die Richtlinien es erlauben.

Was ist mit Apple Silicon? Macs mit großem Unified Memory führen große Modelle mit MLX gut aus, aber ohne CUDA. Wenn Ihre Server NVIDIA und Linux sind, hält ein NVIDIA-Linux-Laptop den Stack identisch.

Quellen

  • NVIDIA, Spezifikationen der GeForce RTX 50 Series für Laptops (CUDA-Kerne, AI TOPS, Speicher, Busbreite, GPU-Leistungsbereich), geprüft am 18. November 2026.
  • Seiten der Ollama-Bibliothek zu qwen3, gpt-oss, gemma3, qwen3.8, qwen3-coder, nemotron-3.5-lightning und llama3.3 (Download-Größen und Beschreibungen), geprüft am 18. November 2026.
  • OpenAI, Model Card zu gpt-oss (117B Parameter insgesamt und etwa 5,1B aktive Parameter für gpt-oss-120b).
  • Meta, Konfiguration von Llama 3.1 8B (32 Schichten, 8 KV-Heads, Head-Größe 128), verwendet für das KV-Cache-Beispiel.
  • Juno Computers, Spezifikationen des Neptune 18"; Eintrag im Workstation-Shop (Konfiguration, Preis und Versandzeit).
  • Die Befehle folgen der Dokumentation von Ubuntu, NVIDIA Container Toolkit, Ollama, llama.cpp und vLLM; Flags ändern sich zwischen Releases, prüfen Sie daher die aktuelle Dokumentation.

Hinweis zu Schutzrechten: NVIDIA, GeForce, RTX, CUDA, cuDNN, NCCL, TensorRT, DGX, Blackwell und Nemotron sind Marken der NVIDIA Corporation. Intel und Core Ultra sind Marken der Intel Corporation. Ubuntu und Kubuntu sind Marken der Canonical Ltd. Juno und Neptune sind Namen der Juno Computers Ltd. Llama ist eine Marke der Meta Platforms, Inc.; Gemma der Google LLC; Qwen von Alibaba Cloud; gpt-oss und OpenAI von OpenAI. Andere Namen sind Eigentum ihrer jeweiligen Inhaber. Dieser Artikel ist unabhängig und wird von keinem dieser Unternehmen unterstützt.

Diesen Artikel teilen

Mehr zu Technology

ML- und LLM-Systeme testen, deren Korrektheit sich nicht beweisen lässt: ein Python-Evidenz-Kit

ML- und LLM-Systeme testen, deren Korrektheit sich nicht beweisen lässt: ein Python-Evidenz-Kit

Evidenz statt Beweise, in etwa 400 Zeilen Python mit echter Ausgabe: Slice-Metriken mit Bootstrap-Intervallen und einem Pass/Fail-Vertrag, Property- und metamorphe Tests mit Hypothesis, Kalibrierung und Conformal Prediction, Pydantic-Verträge und Regressionsevaluierungen für LLM-Ausgaben, Drift-Prüfungen, ein CI-Gate und die exakte Verifikation eines kleinen neuronalen Netzes

Weiterlesen
TorchCurves in der Praxis: lernbare B-Spline- und Legendre-Kurven in PyTorch

TorchCurves in der Praxis: lernbare B-Spline- und Legendre-Kurven in PyTorch

torchcurves installieren, eine Kurve anpassen und dimensionieren, B-Spline oder Legendre und die Eingabeabbildung wählen, eine monotone Kalibrierungskurve und ein additives Modell auf tabellarischen Daten bauen, mit SciPy, scikit-learn, einem KAN und einem MLP vergleichen, Koeffizienten nach JSON exportieren, testen und in der Produktion betreiben, mit echten Ausgaben

Weiterlesen
Agentische, Sprach- und Bildmodelle auf dem Gerät mit Cactus betreiben: Ein Praxisleitfaden (2026)

Agentische, Sprach- und Bildmodelle auf dem Gerät mit Cactus betreiben: Ein Praxisleitfaden (2026)

cactus-compute installieren, Tool-Calls ausführen, per Konfidenzschwelle mit Rückfall auf ein größeres Modell absichern, strukturierte Daten extrahieren, Sprache und Bilder verarbeiten, Latenz und Speicher messen und einen Offline-Container ausliefern, mit jedem Beispiel ausgeführt und einem Vergleich mit llama.cpp, ONNX Runtime, ExecuTorch, MLC LLM und TensorRT Edge-LLM

Weiterlesen