LLM VRAM-Rechner für Selbsthosting
Wie viel Grafikspeicher braucht ein Sprachmodell wirklich? Wählen Sie Modell, Quantisierung und Kontextlänge – der Rechner zeigt Gewichte, KV-Cache und Overhead animiert auf und prüft, auf welcher Hardware das Modell läuft: von der GeForce-Karte über Datacenter-GPUs bis zum Mac mit Apple Silicon. Direkt im Browser, ohne Anmeldung.
LLM VRAM-Rechner
Passt das auf Ihre Hardware?
Grün = passt komfortabel · Orange = knapp · Blau = mit mehreren GPUs möglich
Bei Apple Silicon und Unified-Memory-Systemen sind praxisnah rund 75 % des Speichers für die GPU nutzbar – das ist bereits eingerechnet.
Alle Berechnungen laufen ausschliesslich lokal in Ihrem Browser. Die Werte sind fundierte Schätzungen auf Basis der Modellarchitektur – der tatsächliche Bedarf variiert je nach Inference-Engine um etwa ±10 %.
Welches Modell passt auf meine Hardware?
Hardware auswählen – und sehen, welche Modelle mit welcher Quantisierung darauf laufen (bei 16k Kontext).
| Modell | Parameter | Beste Quantisierung | VRAM-Bedarf |
|---|---|---|---|
| – | |||
Was der Rechner berücksichtigt
Modellgewichte
Parameterzahl × Bits pro Gewicht: Die Quantisierung entscheidet, ob ein 27B-Modell 54 GB (FP16) oder 17 GB (Q4_K_M) belegt. Bei MoE-Modellen müssen alle Experten geladen werden – nicht nur die aktiven.
KV-Cache
Wächst linear mit Kontextlänge und parallelen Anfragen. Der Rechner kennt die Architektur jedes Modells – inklusive Grouped-Query-, Sliding-Window-, hybrider und Latent-Attention (MLA).
Overhead
CUDA- bzw. Metal-Laufzeit, Aktivierungen und Puffer der Inference-Engine brauchen zusätzlich rund 1–3 GB – auch das fliesst in die Schätzung ein.
Die Formel
VRAM = Gewichte + KV-Cache + Overhead
Welches Modell für wie viel VRAM?
Bewährte Empfehlungen je Speicherklasse – jeweils mit Q4_K_M-Quantisierung, sofern nicht anders vermerkt.
| Speicher | Typische Hardware | Empfohlene Modelle |
|---|---|---|
| 8 GB | Einstiegs-GPU / Laptop | Qwen3.5-4B, Gemma 3-4B, Qwen3.5-2B (Q4_K_M) |
| 12 GB | RTX 3060 | Qwen3.5-9B, gpt-oss-20b (MXFP4), DeepSeek-R1-Distill-14B (Q4) |
| 16 GB | RTX 4060 Ti / 5080, Mac 24 GB | Mistral Small 3.2, Phi-4 (Q8), Qwen3.8-27B (Q3) |
| 24 GB | RTX 3090 / 4090 | Qwen3.8-27B, Gemma 4-26B-A4B, Qwen3.6-35B-A3B, DeepSeek-R1-32B (Q4) |
| 32 GB | RTX 5090, Mac 48 GB | Gemma 4-31B (Q5), Qwen3.6-35B-A3B (Q6) |
| 48 GB | RTX 6000 Ada / L40S, Mac 64 GB | Llama 3.3-70B (Q4), Gemma 4-31B (Q8) |
| 96–128 GB | RTX PRO 6000, M4 Max, Ryzen AI Max+ | gpt-oss-120b, GLM-4.5-Air, Qwen3.5-122B-A10B, Llama 4 Scout (Q4) |
| 192–512 GB | M2/M3 Ultra, Multi-GPU-Server | Qwen3.5-397B-A17B, DeepSeek-V4-Flash, GLM-4.5 (Q4) |
Gut zu wissen rund um lokale LLMs
Warum überhaupt selbst hosten?
Volle Datenkontrolle: Prompts und Dokumente verlassen das eigene Haus nie – wichtig für Kundendaten, Verträge und alles, was unter das DSG fällt. Dazu kommen planbare Kosten statt API-Gebühren und der Betrieb auch ohne Internetverbindung.
MoE-Modelle: gross, aber schnell
Mixture-of-Experts-Modelle wie Qwen3.6-35B-A3B oder gpt-oss-120b laden alle Parameter in den Speicher, rechnen pro Token aber nur mit einem Bruchteil. Ergebnis: Qualität eines grossen Modells bei der Geschwindigkeit eines kleinen – ideal für Systeme mit viel (Unified) Memory.
Apple Silicon als LLM-Maschine
Dank Unified Memory sind Macs erstaunlich starke LLM-Hosts: Ein Mac Studio mit 512 GB führt Modelle aus, für die sonst ein Multi-GPU-Server nötig wäre – leise und stromsparend. Dafür liefern NVIDIA-GPUs bei gleicher Modellgrösse mehr Tokens pro Sekunde.
Speicherbandbreite = Geschwindigkeit
Bei der Textgenerierung muss für jedes Token das ganze (aktive) Modell durch den Speicher – die Bandbreite bestimmt die Geschwindigkeit stärker als die Rechenleistung. Deshalb sind HBM-GPUs und Apple Max/Ultra-Chips mit breitem Speicherinterface so gut geeignet.
Häufige Fragen zum LLM-Selbsthosting
Wie viel VRAM braucht ein LLM?
Als Faustformel bei Q4-Quantisierung: Parameterzahl in Milliarden × 0.6 GB, plus KV-Cache für den Kontext und etwa 1–2 GB Overhead. Ein 27B-Modell braucht so rund 17–20 GB, ein 9B-Modell etwa 6–8 GB. Der Rechner oben schlüsselt alle drei Anteile präzise nach Modellarchitektur auf.
Was ist Quantisierung – und wie viel Qualität kostet Q4_K_M?
Quantisierung speichert die Modellgewichte mit weniger Bits pro Parameter. Statt 16 Bit (FP16) sind bei Q4_K_M im Schnitt nur rund 4.85 Bit nötig – das Modell wird gut dreimal kleiner. Q4_K_M gilt als bester Kompromiss: Der Qualitätsverlust ist in der Praxis kaum spürbar. Unterhalb von Q3 nimmt die Qualität dagegen deutlich ab.
Was ist der KV-Cache?
Der Key-Value-Cache speichert für jedes bereits verarbeitete Token Zwischenwerte der Attention-Schichten, damit sie nicht neu berechnet werden müssen. Er wächst linear mit der Kontextlänge: Bei langen Kontexten (64k+) kann er mehr Speicher belegen als das Modell selbst. Moderne Architekturen (Sliding-Window-, hybride oder Latent-Attention) reduzieren ihn deutlich – der Rechner berücksichtigt das pro Modell.
Kann ich LLMs auf einem Mac mit Apple Silicon ausführen?
Ja, sehr gut sogar: Apple Silicon nutzt Unified Memory – CPU und GPU teilen sich denselben Speicher. Ein Mac Studio mit 128 oder 512 GB führt damit Modelle aus, für die sonst mehrere GPUs nötig wären. Praxiswert: Rund 75 % des Unified Memory stehen der GPU zur Verfügung; dafür ist die Geschwindigkeit (Tokens/Sekunde) niedriger als bei dedizierten NVIDIA-GPUs. Tools wie Ollama oder LM Studio laufen nativ auf ARM.
Was bedeutet MoE bzw. «aktive Parameter»?
Mixture-of-Experts-Modelle (z. B. Qwen3.6-35B-A3B) aktivieren pro Token nur einen Bruchteil ihrer Parameter – hier 3B von 35B. Das macht sie schnell, aber: In den VRAM müssen trotzdem alle Parameter geladen werden. Für den Speicherbedarf zählt die Gesamtgrösse, für die Geschwindigkeit die aktiven Parameter.
Was passiert, wenn das Modell nicht ganz in den VRAM passt?
Tools wie Ollama und llama.cpp lagern dann einen Teil der Schichten ins normale RAM aus (CPU-Offloading). Das funktioniert, kostet aber massiv Geschwindigkeit – oft Faktor 5–10. Für flüssiges Arbeiten sollte das Modell inklusive KV-Cache vollständig in den VRAM passen; wählen Sie sonst eine stärkere Quantisierung oder ein kleineres Modell.
Wie genau sind die berechneten Werte?
Es sind fundierte Schätzungen auf Basis der Modellarchitektur (Parameter, Schichten, Attention-Aufbau). Der tatsächliche Verbrauch hängt von der Inference-Engine (llama.cpp, vLLM, MLX), deren Version und Einstellungen ab und kann um etwa ±10 % abweichen. Für die Hardware-Planung ist das ausreichend präzise.
Mit welcher Software hoste ich LLMs selbst?
Für den Einstieg: Ollama (Kommandozeile, sehr einfach) oder LM Studio (grafische Oberfläche) – beide auf Windows, macOS und Linux. Für Server mit mehreren Nutzern: vLLM oder llama.cpp im Server-Modus. Auf Apple Silicon holt MLX zusätzlich Performance heraus. Gerne richten wir Ihnen eine komplette Self-Hosting-Umgebung ein.
Eigene KI-Lösung im Unternehmen betreiben?
Wir planen, dimensionieren und betreiben lokale KI-Infrastruktur für KMU – von der Hardware-Auswahl bis zur fertig eingerichteten, DSG-konformen Umgebung.
Weitere kostenlose Netzwerk-Tools: