Wie viel Arbeitsspeicher braucht ein Mac für lokale LLMs?

Apples neuer Mac Studio erreicht maximal 512GB Unified Memory. In der Presse wird das so dargestellt, dass damit Modelle im Frontier-Maßstab auf den Schreibtisch passen. Das stimmt weitgehend – und es ist zugleich die Antwort auf eine Frage, die sich die meisten Mac-Käufer gar nicht stellen.

Die Frage, die sie sich tatsächlich stellen, ist enger gefasst und nützlicher: Wie viel Arbeitsspeicher muss ich angesichts dessen, was ich ausführen möchte, tatsächlich kaufen? Unified Memory ist fest mit dem Chip-Package verlötet. Sie haben genau eine Gelegenheit, diese Frage zu beantworten – beim Checkout, für die gesamte Lebensdauer des Geräts.

Die gute Nachricht: Es ist reine Arithmetik, keine Meinungssache. Dieser Artikel rechnet es durch.

Kernaussagen

• Zwei Zahlen entscheiden über alles. Die Speicher-Kapazität entscheidet, ob ein Modell überhaupt lädt. Die Speicher-Bandbreite entscheidet, wie schnell es Text generiert. Beide sind unabhängig voneinander, und eine Maschine kann bei der einen stark und bei der anderen schwach sein.
• Schätzen Sie die Gewichte als Parameter × Bytes pro Parameter. Bei 4-Bit-Quantisierung sind das etwa 0.55 Bytes pro Parameter, sodass ein 70B-Modell vor Berücksichtigung des Kontexts rund 38GB benötigt.
• macOS lässt die GPU nicht Ihren gesamten RAM nutzen. Es gibt eine undokumentierte Obergrenze, die über iogpu.wired_limit_mb gesteuert wird. Auf einem 32GB-Mac stehen dem Modell nicht 32GB zur Verfügung.
• Apples plakative KI-Zahlen beschreiben die Prompt-Verarbeitung, nicht die Textgenerierung. Beide haben unterschiedliche Engpässe. Lesen Sie die Formulierungen genau.
• Die Kapazität des M5 Ultra ist nichts Neues. Der M3 Ultra bot bereits 2025 512GB. Verändert hat sich die Bandbreite: von 819GB/s auf 1.2TB/s.

Die zwei Zahlen

Fast jede schlechte Kaufentscheidung bei einem Mac für KI entsteht dadurch, dass diese beiden Zahlen zu einer verschmolzen werden.

Kapazität ist eine Wand. Passt das Modell samt seinem Kontext nicht in den Speicher, läuft es nicht. Es gibt keine sanfte Degradation wie bei einer dedizierten GPU, die in den System-RAM ausweichen kann – auf einem Mac ist der Unified Memory der System-RAM, und sobald Sie überschreiten, was macOS der GPU zugesteht, scheitert entweder das Laden, oder Sie landen bei etwas deutlich Langsamerem.

Bandbreite ist ein Tempolimit. Um ein Token zu generieren, liest ein Dense-Modell seinen gesamten Gewichtssatz aus dem Speicher. Bei jedem einzelnen Token. Das bedeutet, die theoretische Obergrenze der Generierungsgeschwindigkeit ist die Speicherbandbreite geteilt durch die Modellgröße – daran ändert auch keine noch so hohe Anzahl an GPU-Cores etwas.

Deshalb kann eine Maschine ein 200GB-Modell fassen und sich trotzdem unbenutzbar anfühlen – und deshalb kann sich ein kleines Modell auf einer bescheidenen Maschine augenblicklich anfühlen.

Kapazität: Was passt hinein

Die Gewichte sind der dominierende Kostenfaktor, und sie sind vorhersehbar:

memory for weights ≈ parameters × bytes per parameter

Bytes pro Parameter hängen von der Quantisierung ab:

Präzision	Bytes pro Parameter	Typische Verwendung
FP16 / BF16	2.0	Training, maximale Genauigkeit
8-bit (Q8)	~1.0	Nahezu verlustfreie Inferenz
4-bit (Q4_K_M)	~0.55	Der praktische Standard
3-bit	~0.42	Merklicher Qualitätsverlust

4-Bit-K-Quants liegen im Schnitt etwas über 4 Bit, sobald man die Skalierungs-Metadaten mit einrechnet – deshalb ist 0.55 statt 0.50 der ehrliche Wert. Wendet man das an:

Modellgröße	4-bit	8-bit	FP16
8B	4.4 GB	8 GB	16 GB
14B	7.7 GB	14 GB	28 GB
32B	17.6 GB	32 GB	64 GB
70B	38.5 GB	70 GB	140 GB
120B	66 GB	120 GB	240 GB
235B	129 GB	235 GB	—
400B	220 GB	400 GB	—
671B	369 GB	671 GB	—

Dann den Kontext hinzurechnen

Der KV-Cache speichert die Attention-Keys und -Values für jedes Token der Konversation und wächst linear mit der Kontextlänge. Seine Größe pro Token variiert stark je nach Architektur – Modelle mit Grouped-Query-Attention sind hier deutlich günstiger als ältere Designs –, aber ein praktikabler Bereich liegt bei 0.1 MB bis 0.5 MB pro Token.

Bei 32.000 Tokens Kontext sind das zusätzlich zu den Gewichten grob 3GB bis 16GB. Bei 128.000 Tokens kann das den Umfang des Modells selbst übersteigen.

Das ist der mit Abstand häufigste Grund, warum ein Modell, das "eigentlich passen sollte", es am Ende nicht tut. Wenn Sie vorhaben, lange Dokumente einzuspeisen oder lange Konversationen zu führen, planen Sie das explizit ein, statt nur die Gewichte zu bemessen und zu hoffen.

Die praktische Faustregel

memory you need ≈ (weights) + (KV cache for your context) + 2–3 GB overhead

Und dann prüfen Sie das gegen das, was macOS Ihnen tatsächlich zugesteht – das ist nicht die Zahl auf der Verpackung.

Die Obergrenze, über die niemand spricht

macOS reserviert Unified Memory für das System und begrenzt, wie viel die GPU fest belegen darf. Der Regler dafür ist ein sysctl:

$ sysctl iogpu.wired_limit_mb
iogpu.wired_limit_mb: 0

Null bedeutet automatisch. Apple dokumentiert nicht, worauf sich "automatisch" konkret beläuft, und ich werde mir keine Formel ausdenken – aber Messungen aus der Community verorten den Wert konsistent bei etwa 65–75% des Gesamtspeichers, wobei größeren Maschinen ein größerer Anteil zugestanden wird.

Die praktische Konsequenz für die Maschinen, die Sie eventuell kaufen:

Installierter Speicher	Ungefähr verfügbar für die GPU
16 GB	~10–12 GB
32 GB	~21–24 GB
64 GB	~42–48 GB
128 GB	~85–96 GB
512 GB	~340–384 GB

Sie können den Wert anheben. Die Änderung wirkt sofort und übersteht keinen Neustart:

# Allow the GPU to wire 28GB on a 32GB Mac
sudo sysctl iogpu.wired_limit_mb=28672

# Back to automatic
sudo sysctl iogpu.wired_limit_mb=0

Gehen Sie dabei vorsichtig vor. Alles, was Sie sich nehmen, nehmen Sie dem Betriebssystem und jeder anderen Anwendung weg. Treiben Sie den Wert zu nah an Ihr Gesamtvolumen, landen Sie bei Swapping, dem bunten Ladeball oder einem Out-of-Memory-Kill – und auf einem Mac mit schneller SSD ist Swapping unter Speicherdruck zugleich eine anhaltende Schreiblast. Wenn Sie schon einmal den Dialog System has run out of application memory gesehen haben: Das ist einer der Wege, wie man dort landet.

Eine vernünftige Obergrenze ist der Gesamtspeicher minus 6–8GB für macOS und Ihre übrigen Anwendungen. Setzen Sie den Wert, starten Sie Ihr Modell, und beobachten Sie den Speicherdruck in der Aktivitätsanzeige. Wenn Sie generell Druckspitzen sehen, behandelt unser Leitfaden zum Mac-Speichermanagement die Diagnose.

Bandbreite: Wie schnell die Antwort kommt

Hier ist die Schätzung, auf die es ankommt – und hier ist genau das, was sie ist:

tokens per second ≈ (memory bandwidth × efficiency) ÷ weight size in bytes

Die Effizienz bildet die Lücke zwischen der theoretischen Spitzenbandbreite und dem ab, was eine Inferenz-Engine tatsächlich erreicht – auf Apple Silicon mit einer gut optimierten Runtime liegt sie grob bei 0.6 bis 0.8. Im Folgenden verwende ich 0.7.

Das sind rechnerische Schätzungen auf Basis veröffentlichter Bandbreitenwerte, keine von mir durchgeführten Benchmarks. Betrachten Sie sie als korrekte Größenordnung und korrekte relative Reihenfolge, nicht als Messwerte. Die realen Zahlen variieren mit der Runtime, der Quantisierung, der Kontextlänge und dem thermischen Verhalten.

Generierungsgeschwindigkeit für ein Dense-Modell bei 4-Bit:

	M6 (170GB/s)	M5 Pro (307GB/s)	M5 Max (614GB/s)	M5 Ultra (1.2TB/s)
8B (4.4GB)	~27 tok/s	~49 tok/s	~98 tok/s	~190 tok/s
32B (17.6GB)	~7 tok/s	~12 tok/s	~24 tok/s	~48 tok/s
70B (38.5GB)	passt nicht	~6 tok/s	~11 tok/s	~22 tok/s
120B (66GB)	passt nicht	passt nicht	~7 tok/s	~13 tok/s

Zum Vergleich: eine angenehme Lesegeschwindigkeit liegt bei etwa 10 Tokens pro Sekunde. Unter etwa 5 hören die meisten Leute auf, das Ding zu benutzen.

Schauen Sie sich die 32B-Zeile an. Das ist ein und dasselbe Modell, und es reicht über die Spanne hinweg von kaum erträglich bis wirklich flott – ohne dass sich daran etwas ändert, ob es passt. Das ist Bandbreite, nicht Kapazität, und es ist die Achse, die Leute vergessen, wenn sie die billigste Maschine kaufen, die das Modell technisch gerade noch fasst.

Warum MoE-Modelle die Antwort verändern

Mixture-of-Experts-Modelle brechen die obige Regel, und genau das ist der ganze Grund, warum eine 512GB-Maschine interessant ist.

Ein MoE-Modell speichert viele Experten-Subnetzwerke, aktiviert pro Token aber nur wenige davon. Ein 235B-Modell mit 22B aktiven Parametern muss Gewichte im Umfang von 235B vorhalten, liest für jedes erzeugte Token jedoch nur etwa 22B davon.

Also:

• Kapazität richtet sich nach der Gesamtzahl der Parameter — 129GB bei 4-bit.
• Geschwindigkeit richtet sich nach den aktiven Parametern — wie bei einem 22B-Dense-Modell, also grob 40 tok/s auf einem M5 Ultra statt der ~9 tok/s, die ein 235B-Dense-Modell schaffen würde.

Das ist die Asymmetrie, die große MoE-Modelle auf Apple Silicon praktikabel macht – auf eine Weise, wie es bei einer Consumer-GPU nicht der Fall ist: Sie brauchen die Kapazität, die Apple in dieser Form zu diesem Preis als Einziger anbietet, und bekommen dafür eine Geschwindigkeit, die einem deutlich kleineren Modell entspricht.

Das ist auch der Grund, warum "512GB führt Frontier-Modelle aus" zwar stimmt, aber unvollständig ist. Es führt sparse Frontier-Modelle in nutzbarer Geschwindigkeit aus. Ein hypothetisches 400B-Dense-Modell bei 4-Bit würde 220GB belegen und auf einem M5 Ultra rund 4 Tokens pro Sekunde generieren. Es passt. Spaß machen würde es nicht.

Prompt-Verarbeitung ist ein anderes Problem

Lesen Sie Apples Angaben zum neuen Mac mini genau:

Up to 4.8x faster LLM prompt processing versus M4 Up to 13.5x faster LLM prompt processing versus M1

Prompt-Verarbeitung — Prefill — ist die Phase, in der das Modell das aufnimmt, was Sie ihm gegeben haben. Jedes Token Ihrer Eingabe wird parallel verarbeitet, was diese Phase compute-bound macht: Sie skaliert mit dem GPU-Durchsatz, mit den Neural Accelerators, die inzwischen in jedem GPU-Core stecken, und beim M6 mit der ersten dualen Neural Engine, die Apple je ausgeliefert hat.

Die Token-Generierung — Decode — läuft ein Token nach dem anderen ab, wobei jedes einen vollständigen Durchlauf über die Gewichte erfordert. Sie ist bandbreitengebunden, und daran ändert auch noch so viel Rechenleistung nichts.

Apple hat sich dafür entschieden, die compute-bound Hälfte zu bewerben. Das ist nicht irreführend; es ist tatsächlich die Hälfte, die sich in dieser Generation am stärksten verbessert hat. Es bedeutet aber, dass die Marketingzahlen beschreiben, wie schnell die Maschine Ihr 50-seitiges Dokument liest — nicht, wie schnell sie die Zusammenfassung schreibt.

Welche der beiden Sie interessiert, hängt von Ihrer Arbeit ab:

• Lange Eingaben, kurze Ausgaben — Dokumente zusammenfassen, klassifizieren, aus einer Codebase extrahieren — ist prefill-dominiert. Apples Zahlen gelten hier.
• Kurze Eingaben, lange Ausgaben — Entwürfe schreiben, Chat, Code-Generierung — ist decode-dominiert. Hier zählt die Bandbreite.
• Lange Eingaben und lange Ausgaben — agentische Workflows über einen großen Kontext — brauchen beides, und zusätzlich Kapazität für den KV-Cache.

Was sich beim M5 Ultra tatsächlich geändert hat

Ein Teil der Launch-Berichterstattung suggerierte, dass es neu sei, ein Frontier-Modell auf einem Desktop vorzuhalten. Ist es nicht — und wer das richtig einordnet, für den ändert sich die Upgrade-Entscheidung, sofern bereits ein Mac Studio im Einsatz ist.

	M3 Ultra (2025)	M5 Ultra (2026)
Max. Unified Memory	512GB	512GB
Speicherbandbreite	819GB/s	1.2TB/s
GPU-Cores	bis zu 80	bis zu 80
CPU-Cores	32	bis zu 36

Die Kapazität hat sich nicht verändert. Die Anzahl der GPU-Cores hat sich nicht verändert. Die Bandbreite ist um etwa 1.47x gestiegen, und die CPU hat vier Cores dazugewonnen.

Das deckt sich exakt mit Apples eigenen Vergleichen gegenüber dem M3 Ultra — "up to 1.3x higher multithreaded performance" und "up to 1.8x faster graphics" sind bescheidene Zahlen, und Apples große Behauptung, "up to 4.3x the peak AI compute performance", stammt von den Neural Accelerators, die inzwischen in jedem GPU-Core stecken, und nicht von mehr oder größeren Cores.

Speziell für lokale Inferenz bedeutet das:

• Generierungsgeschwindigkeit verbessert sich grob im Gleichschritt mit der Bandbreite — bei ein und demselben Modell etwa 1.4x.
• Prompt-Verarbeitung verbessert sich deutlich stärker, im Einklang mit jener 4.3x-KI-Rechenleistungszahl.
• Was Sie laden können bleibt unverändert.

Wenn Sie einen M3 Ultra Mac Studio mit 512GB besitzen und Ihr limitierender Faktor ist, welche Modelle passen, löst diese Generation kein Problem, das Sie haben. Wenn Ihr limitierender Faktor die Wartezeit beim Verarbeiten langer Prompts ist, adressiert sie das direkt. Unser Leitfaden zur Performance von Mac Studio M4 Max und M3 Ultra behandelt die vorherige Generation im Detail.

Noch ein Hinweis zum Zeitplan, den Sie vor der Bestellung kennen sollten: Die 512GB-Konfiguration erscheint nicht am 22. September zusammen mit allem anderen. Apple gibt Ende Oktober als Liefertermin an.

Welche Maschine, je nachdem, was Sie tatsächlich vorhaben

16GB — dafür nicht geeignet

Ihnen stehen grob 10–12GB für die GPU zur Verfügung. Das reicht für 8B-Modelle bei 4-Bit mit bescheidenem Kontext, aber für nichts Größeres. Für Modelle der Autocomplete-Klasse und kleine lokale Assistenten ist das in Ordnung, bei allem anderen wird es Sie frustrieren. 2026 ist 16GB eine Maschine, die andere Dinge gut kann und LLMs eher nebenbei ausführt.

32GB (M6 Mac mini, maximal ausgestattet — $1,299) — der Einstiegspunkt

Etwa 21–24GB stehen zur Verfügung. Das führt 8B- und 14B-Modelle komfortabel aus sowie ein 32B-Modell bei 4-Bit mit kurzem Kontext, mit rund 7 Tokens pro Sekunde. Diese letzte Zahl ist die ehrliche Grenze: Es passt, aber gerade noch am Rand des Angenehmen.

Gut geeignet für: lokale Coding-Assistenten, private Dokumentenarbeit, das Erlernen des Tooling. Das $400-Upgrade von 16GB ist nicht optional, wenn lokale Modelle einer der Gründe für den Kauf der Maschine sind.

64GB (M5 Pro Mac mini — $1,699+) — der Sweet Spot für die meisten Menschen

Etwa 42–48GB verfügbar, dazu 307GB/s. Ein 70B-Modell bei 4-Bit passt mit Raum für echten Kontext und generiert rund 6 Tokens pro Sekunde — brauchbar für Batch-Arbeit, langsam für interaktiven Chat. Ein 32B-Modell läuft mit rund 12 Tokens pro Sekunde, was angenehm ist.

Hier landet die meiste ernsthafte Nutzung lokaler Modelle, und das ist die Konfiguration, auf die ich die meisten Menschen hinweisen würde. Sie bringt außerdem Thunderbolt 5 mit, das der M6 mini nicht hat.

128GB (M5 Max Mac Studio — $2,499+) — die Profi-Stufe

Etwa 85–96GB verfügbar bei 614GB/s. 70B bei 4-Bit läuft mit rund 11 Tokens pro Sekunde, angenehm interaktiv. Modelle der 120B-Klasse passen. Mittelgroße MoE-Modelle werden praktikabel.

Das ist die Konfiguration für jemanden, dessen Arbeit täglich von lokaler Inferenz abhängt — die Bandbreite verdoppelt bei ein und demselben Modell grob die Generierungsgeschwindigkeit des M5 Pro.

512GB (M5 Ultra Mac Studio — $5,499+, voll ausgestattet über $18,000) — Kapazität, die es sonst nirgends zu kaufen gibt

Etwa 340–384GB verfügbar bei 1.2TB/s. Das fasst MoE-Modelle der 400B-Klasse bei 4-Bit und generiert mit der Geschwindigkeit ihrer aktiven Parameteranzahl — genau das kann kein anderer Desktop zu diesem Preis.

Kaufen Sie das, wenn Sie auf eine Weise kapazitätsgebunden sind, die nichts anderes löst. Wenn Ihre Modelle in 128GB passen, kauft Ihnen der Ultra Geschwindigkeit, die Sie auch günstiger bekommen.

Wenn Sie keinen neuen Mac kaufen

Ein vorhandener M1/M2/M3/M4-Mac mit ausreichend Speicher führt lokale Modelle problemlos aus — die Bandbreite in den Pro- und Max-Stufen ist seit mehreren Generationen gut. Prüfen Sie Ihre eigenen Werte:

# Total memory in GB
echo "$(( $(sysctl -n hw.memsize) / 1073741824 )) GB"

# Chip and current GPU wired limit
sysctl -n machdep.cpu.brand_string
sysctl iogpu.wired_limit_mb

Wenden Sie dann die obigen Tabellen an. Ein 64GB M1 Max bei 400GB/s ist eine völlig gute Maschine für lokale Inferenz — und war es schon immer.

Ein durchgerechnetes Beispiel

Abstrakten Tabellen nickt man leicht zu, aber sie sind schwer in die Tat umzusetzen. Hier ist die Überlegung, angewendet auf einen konkreten Fall.

Die Anforderung: ein privater Coding-Assistent, der eine mittelgroße Codebase liest, einen 32.000-Token-Kontext hält und interaktiv antwortet. Sie wollen ein Modell der 32B-Klasse, weil kleinere bei Code merklich schlechter abschneiden.

Schritt 1 — Gewichte. 32B bei 4-Bit: 32 × 0.55 = 17.6GB.

Schritt 2 — Kontext. 32,000 Tokens bei rund 0.2 MB pro Token für ein modernes Grouped-Query-Attention-Modell: etwa 6.4GB. Das ist der Posten, den man vergisst, und hier macht er über ein Drittel der Gewichtsgröße aus.

Schritt 3 — Overhead. Runtime, Metal-Buffer, Tokenizer: 2–3GB.

Summe: rund 26–27GB, die für die GPU gewiret werden müssen.

Schritt 4 — Umrechnung auf installierten Speicher. Bei einer automatischen Obergrenze von ~70% braucht man für 27GB gewiret rund 38GB installiert. Ein 32GB-Mac gibt Ihnen automatisch 21–24GB — nicht genug. Sie könnten iogpu.wired_limit_mb auf einer 32GB-Maschine auf 27GB anheben, was 5GB für macOS und alles andere übrig lässt. Das funktioniert, solange nichts anderes läuft, und bricht in dem Moment zusammen, in dem Sie einen Browser öffnen.

Fazit: 64GB installiert. Das landet beim M5 Pro Mac mini, nicht beim M6.

Schritt 5 — die Geschwindigkeit prüfen. 307GB/s × 0.7 ÷ 17.6GB ≈ 12 Tokens pro Sekunde. Angenehm für interaktive Nutzung.

Ändern Sie nun eine einzige Variable. Lassen Sie alles andere gleich und verlangen Sie einen 128,000-Token-Kontext: Der KV-Cache steigt auf rund 25GB, der Gesamtbedarf auf etwa 45GB, und der erforderliche installierte Speicher auf mindestens 64GB bei angehobener Wired-Grenze — oder 128GB, um komfortabel zu sein. Eine einzige Einstellung hat die Antwort um eine ganze Produktstufe nach oben verschoben.

Das ist die gesamte Methode. Gewichte, Kontext, Overhead, geteilt durch die Obergrenze, dann die Bandbreite gegen die Gewichtsgröße prüfen.

Runtimes verhalten sich nicht alle gleich

Die obige Arithmetik beschreibt die Hardware. Was Sie tatsächlich beobachten, hängt von der Software ab, und die Unterschiede sind groß genug, um eine Kaufentscheidung zu verändern.

MLX ist Apples eigenes Array-Framework, gebaut für Unified Memory. Es kopiert nicht zwischen "CPU-Speicher" und "GPU-Speicher", weil es auf Apple Silicon diese Unterscheidung gar nicht gibt, und es ist in der Regel die speichereffizienteste Option auf einem Mac. Wenn Sie Hardware gezielt für lokale Inferenz kaufen, ist MLX-basiertes Tooling das, was die Hardware gut aussehen lässt.

llama.cpp und die darauf aufbauenden Tools sind die portabelste Option und bieten exzellente Metal-Unterstützung. Ihre Quantisierungsformate — die Q4_K_M-Familie, von der die obigen Tabellen ausgehen — sind der De-facto-Standard, und ihr Speicherverhalten ist vorhersehbar und gut dokumentiert.

Ollama umhüllt llama.cpp mit Modellverwaltung. Praktisch — und was Sie wissen sollten: Es hält Modelle nach der Nutzung noch für eine konfigurierbare Zeit im Speicher. Wenn Sie nahe an Ihrer Obergrenze arbeiten, kann ein Modell, mit dem Sie vor einer Stunde fertig waren, immer noch Speicher belegen. Das ist eine häufige Ursache für "gestern hat es doch funktioniert".

LM Studio ist die grafische Option und ehrlich beim Thema Speicher — es zeigt Ihnen vor dem Laden, was passt und was nicht. Das ist ein guter Weg, ein Gefühl für diese Zahlen zu entwickeln, ohne selbst zu rechnen.

Zwei Verhaltensweisen sind wichtig, unabhängig davon, welche Sie verwenden:

1. Ob der KV-Cache vorab reserviert wird. Manche Runtimes reservieren beim Laden das gesamte Kontextfenster; andere lassen ihn mit der Konversation mitwachsen. Vorab-Reservierung bedeutet, dass ein Modell, das in der Praxis laufen würde, nicht lädt. Wenn ein Modell bei 128K das Laden verweigert, bei 8K aber lädt, liegt genau das vor — und die Lösung ist, den konfigurierten Kontext zu senken, nicht ein kleineres Modell zu wählen.
2. Ob nicht genutzte Modelle entladen werden. Prüfen Sie die Keep-Alive-Einstellung Ihrer Runtime, bevor Sie schließen, Ihre Maschine sei zu klein.

Spielraum gewinnen, ohne Speicher zu kaufen

Bevor Sie $400 für eine Speicherstufe ausgeben: Mehrere Techniken verändern die Rechnung.

Stärker quantisieren. Der Wechsel von 8-Bit auf 4-Bit halbiert Ihren Speicherbedarf bei überschaubarem Qualitätsverlust. Das ist fast immer der bessere Tausch, als zu einem kleineren Modell mit höherer Präzision zu wechseln — ein 32B-Modell bei 4-Bit schlägt bei ähnlichem Speicherbedarf in der Regel ein 14B-Modell bei 8-Bit.

Den KV-Cache quantisieren. Die meisten Runtimes können den KV-Cache mit 8-Bit oder niedriger speichern. Bei langen Kontexten, wo der Cache es mit den Gewichten aufnehmen kann, ist das die mit Abstand größte verfügbare Einsparung, und die Qualitätseinbuße ist gering.

Den Kontext richtig dimensionieren. Ein 128K-Kontextfenster, von dem Sie 4,000 Tokens nutzen, kostet bei vorab reservierenden Runtimes trotzdem den vollen Preis. Konfigurieren Sie den Kontext, den Sie tatsächlich nutzen.

MoE-Modelle bevorzugen. Wie oben beschrieben, gibt Ihnen ein Mixture-of-Experts-Modell die Qualität eines großen Modells bei der Generierungsgeschwindigkeit eines kleinen. Der Preis dafür ist Kapazität — und genau davon hat ein Mac mehr als die Alternativen.

Speculative Decoding nutzen. Ein kleines Draft-Modell schlägt mehrere Tokens vor, und das große Modell verifiziert sie in einem einzigen Durchlauf. Weil die Verifikation parallel abläuft, greift das direkt den Bandbreiten-Engpass an und kann Tokens pro Sekunde spürbar erhöhen — auf Kosten davon, ein zweites, kleines Modell im Speicher vorzuhalten. Auf einer bandbreitenlimitierten Maschine mit Kapazitätsreserven ist das ein guter Tausch.

Dinge schließen. Naheliegend, und trotzdem überraschend oft die Antwort. Browser mit vielen Tabs, virtuelle Maschinen und Videoeditoren konkurrieren alle um denselben Pool. Es gibt keinen separaten VRAM, auf den man ausweichen könnte.

Häufige Probleme beheben

Das Modell lädt, aber die Generierung ist extrem langsam

Problem: Sie haben überschritten, was macOS der GPU zugesteht, und die Arbeit fließt ins Swap. Symptome sind ein erstes Token, das viele Sekunden braucht, und eine Generierung, die stottert statt gleichmäßig zu streamen.

Lösung: Prüfen Sie den Speicherdruck in der Aktivitätsanzeige während der Generierung. Ist er gelb oder rot, verwenden Sie entweder eine kleinere Quantisierung, verkleinern Sie Ihr Kontextfenster, oder heben Sie iogpu.wired_limit_mb an — lassen Sie dabei mindestens 6–8GB für das System übrig. Ist der Druck grün und es ist trotzdem langsam, sind Sie schlicht bandbreitenlimitiert, und die Lösung ist ein kleineres Modell.

"System has run out of application memory"

Problem: Meist eine zu aggressiv gesetzte Wired-Grenze, oder ein großer Kontext, der im Laufe einer langen Sitzung gewachsen ist.

Lösung: Setzen Sie mit sudo sysctl iogpu.wired_limit_mb=0 zurück und starten Sie den Inferenzprozess neu. Starten Sie das System neu, falls es weiterhin unzufrieden bleibt — die Einstellung ist nicht persistent, ein Neustart löscht sie in jedem Fall. Verwandte Ursachen behandelt unser Leitfaden zur Fehlerbehebung bei Speicherlecks.

Es passt auf dem Papier, lädt aber nicht

Problem: Sie haben nur für die Gewichte dimensioniert und den KV-Cache vergessen, oder die Runtime reserviert den vollen Kontext im Voraus, statt ihn wachsen zu lassen.

Lösung: Senken Sie die Kontextlänge in den Einstellungen Ihrer Runtime und versuchen Sie es erneut. Wenn ein 32K-Kontext lädt und 128K nicht, bestätigt das die Diagnose, und die Arithmetik im Kapitel zur Kapazität sagt Ihnen, wie viel Sie für den gewünschten Kontext brauchen.

Der Mac wird heiß und wird über eine lange Sitzung hinweg langsamer

Problem: Anhaltende Inferenz bedeutet eine anhaltende Last auf GPU und Speicher gleichermaßen. Laptops drosseln. Desktops meist nicht.

Lösung: Das ist eines der echten Argumente für einen Mac mini oder Mac Studio gegenüber einem MacBook bei dieser Art von Last — anhaltender thermischer Spielraum. Für einen Laptop siehe unseren Leitfaden zum thermischen Throttling beim MacBook Pro M5.

Schnelle Prompt-Verarbeitung, langsame Generierung

Problem: Es ist nichts falsch. Das ist genau das erwartete Verhalten der Hardware.

Lösung: Siehe den Abschnitt zu Prefill versus Decode weiter oben. Wenn Sie Generierungsgeschwindigkeit brauchen, ist die Lösung ein kleineres Modell, eine aggressivere Quantisierung, ein MoE-Modell mit geringer Anzahl aktiver Parameter oder mehr Bandbreite — in dieser Reihenfolge der Kosten.

FAQ

Wie viel RAM brauche ich, um ein 70B-Modell auszuführen?

Bei 4-Bit-Quantisierung liegen die Gewichte bei etwa 38.5GB. Rechnet man Kontext und Overhead hinzu, sind 64GB installiert ein realistisches Minimum, weil macOS davon nur rund 42–48GB an die GPU weitergibt. 48GB installiert sind zu knapp, sobald ein nennenswerter Kontext dazukommt.

Reichen 16GB für lokale KI im Jahr 2026?

Für 8B-Modelle bei 4-Bit mit kurzem Kontext: ja. Für alles Größere: nein. Wenn lokale Modelle einer der Gründe für den Kauf der Maschine sind, betrachten Sie 32GB als Untergrenze und 64GB als Zielwert.

Beschleunigt die Neural Engine lokale LLMs?

Sie trägt zur Prompt-Verarbeitung bei — daher stammt auch Apples Zahl "4.8x faster LLM prompt processing" —, und die duale 16-Core-Neural-Engine des M6 ist ein echter Schritt nach vorn. Sie ändert aber nichts an der Bandbreitengrenze bei der Token-Generierung. Die meisten populären Runtimes für lokale Inferenz auf dem Mac setzen primär auf die GPU über Metal.

Sollte ich den 512GB Mac Studio kaufen?

Nur wenn Sie kapazitätsgebunden sind. Wenn die Modelle, die Sie tatsächlich nutzen, in 128GB passen, erledigt ein M5 Max Mac Studio dieselbe Arbeit für ein Drittel des Preises. Beachten Sie außerdem, dass die 512GB-Option erst Ende Oktober ausgeliefert wird und die voll ausgestattete Maschine $18,299 erreicht.

Kann ich später Speicher nachrüsten?

Nein. Unified Memory ist bei jedem Apple-Silicon-Mac Teil des Chip-Packages. Das ist die Spezifikation, bei der sich Überdimensionierung am ehesten lohnt, weil es die einzige ist, die Sie nie nachträglich korrigieren können.

Ist ein Mac dafür besser als ein PC mit dedizierter GPU?

Unterschiedliche Kompromisse. Eine dedizierte GPU hat eine weit höhere Speicherbandbreite, aber deutlich weniger Speicher — Consumer-Karten liegen deutlich unter dem, was ein Mac Studio bietet. Ein Mac gewinnt klar bei Kapazität pro Dollar und beim Stromverbrauch und verliert beim reinen Durchsatz bei Modellen, die klein genug sind, um in den VRAM zu passen. Bei großen Modellen ist der Mac oft die einzige Ein-Box-Option. Bei kleinen ist eine GPU schneller.

Beeinträchtigt Quantisierung die Qualität?

8-Bit ist für die meisten Zwecke nahezu verlustfrei. 4-Bit-K-Quants sind der praktische Standard, und die Einbußen sind bei den meisten Aufgaben überschaubar. Unter 4-Bit fällt die Qualität merklich ab. Gemessen an den obigen Speichertabellen halbiert der Wechsel von 8-Bit auf 4-Bit grob Ihren Speicherbedarf — meist ein besserer Tausch, als zu einem kleineren Modell zu wechseln.

Fazit

Die 512GB-Schlagzeile ist real, und für eine kleine Zahl von Menschen ist sie entscheidend. Für alle anderen ist die nützliche Version dieses Artikels drei Zeilen Arithmetik: Gewichte sind Parameter mal Bytes-pro-Parameter, Kontext addiert obendrauf 0.1–0.5 MB pro Token, und macOS gibt der GPU nur etwa 65–75% dessen, was Sie gekauft haben.

Rechnen Sie diese Zahlen gegen die Modelle durch, die Sie tatsächlich nutzen wollen, und die Antwort landet meist bei 64GB. Prüfen Sie dann die zweite Zahl — die Bandbreite —, denn sie entscheidet, ob das Modell, das passt, auch eines ist, das Sie weiterhin nutzen werden. Die Lücke zwischen einem 32B-Modell mit 7 Tokens pro Sekunde und demselben Modell mit 24 Tokens pro Sekunde ist die Lücke zwischen einer Demo und einem Werkzeug, und keine noch so große Kapazität schließt sie.

Und für welche Konfiguration Sie sich auch entscheiden — entscheiden Sie sorgfältig. Sie ist verlötet.

Weiterführende Lektüre: Mac mini M6 und Mac Studio M5 Ultra: was sich wirklich geändert hat, lokale KI-Apps auf dem Mac und was sie mit Ihren Daten machen, und Mac-RAM-Preise steigen 2026.