Nvidia Nemotron 3.5 Lightning: 30B-KI läuft lokal auf einer GPU

Während sich das Rennen um die größten Cloud-Modelle zuspitzt, geht Nvidia den umgekehrten Weg: Nemotron 3.5 Lightning ist ein offenes KI-Modell, das am 11. August 2026 erschienen ist und lokal auf einer einzigen GPU läuft – auf einem Desktop, einer Workstation wie DGX Spark oder einer einzelnen H100. Für alle, die KI ohne Cloud-Zwang nutzen wollen, ist das die spannendere Nachricht.

Was Nemotron 3.5 Lightning ausmacht

Technisch ist es ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern, von denen aber nur rund 3 Milliarden pro Anfrage aktiv sind. Genau das macht es sparsam: Man bekommt die Breite eines großen Modells, zahlt beim Rechnen aber nur für den kleinen aktiven Teil. Die Architektur mischt Mamba-2- und MoE-Schichten mit einzelnen Attention-Lagen.

Newsletter

Klartext ins Postfach

KI, Security & Crypto – die wichtigsten Analysen, kein Spam. Jederzeit abbestellbar.

E-Mail-Adresse *

Vorname

Nachname

• Kontextfenster bis zu 1 Million Token – genug für lange Werkzeug- und Gesprächsverläufe, wie sie agentische Abläufe brauchen. Auf einer einzelnen H100 nutzt Nvidia in der Praxis 256K, die volle Million ist die nominale Obergrenze.
• Bis zu rund 4-facher Durchsatz gegenüber ähnlich großen Modellen, unter anderem durch spekulatives Decoding.
• Quantisierte Varianten (NVFP4 und BF16), damit es auch auf kleinerer Hardware passt.
• Offene Gewichte unter der freizügigen Lizenz OpenMDW-1.1.

Damit reiht sich Nemotron in einen klaren Trend ein: kompakte, offene Modelle, die lokal laufen – ähnlich wie zuletzt Metas Muse Glimmer.

Warum lokale KI zählt

Ein Modell, das auf der eigenen Maschine läuft, schickt keine Daten in fremde Rechenzentren. Für Betriebe mit sensiblen Informationen ist das der entscheidende Punkt: Dokumente, Quellcode oder Kundendaten verlassen das Haus nicht. Dazu kommen planbare Kosten – keine Token-Rechnung, kein Abo, das mit der Nutzung skaliert.

Was das für dich bedeutet

Für Selbstständige und kleine IT-Teams senkt Nemotron die Hürde, KI datenschutzfreundlich einzusetzen. Gerade in der EU, wo die DSGVO die Datenweitergabe eng steckt, ist ein Modell im eigenen Netz oft der sauberere Weg als der Cloud-Dienst. Und das große Kontextfenster macht es tauglich für Aufgaben, die lange Verläufe brauchen – etwa Agenten, die viele Schritte am Stück abarbeiten.

So gehst du es praktisch an:

• Erst testen, dann investieren: Über eine Laufumgebung wie Ollama lässt sich das Modell ohne großen Aufwand ausprobieren, bevor du über Hardware nachdenkst.
• VRAM realistisch einplanen: „Läuft auf einer GPU” heißt nicht „läuft auf jeder GPU”. Prüfe den Speicherbedarf der gewählten Variante – die quantisierte NVFP4-Version ist der Weg für kleinere Karten.
• Sensible Workflows zuerst: Setze lokale KI dort ein, wo Vertraulichkeit zählt, und lass unkritische Standardaufgaben ruhig in der Cloud, wenn das günstiger ist.

Welche Hardware sich dafür lohnt, haben wir im Ratgeber zu Hardware für lokale KI und LLMs zusammengetragen.

Quellen

• Nvidia Technical Blog: Nemotron 3.5 Lightning
• CNBC: Nvidia releases Nemotron 3.5 Lightning
• Hugging Face: Nemotron 3.5 Lightning 30B-A3B