{"code":"var Component=(()=>{var u=Object.create;var d=Object.defineProperty;var g=Object.getOwnPropertyDescriptor;var m=Object.getOwnPropertyNames;var b=Object.getPrototypeOf,p=Object.prototype.hasOwnProperty;var k=(i,e)=>()=>(e||i((e={exports:{}}).exports,e),e.exports),f=(i,e)=>{for(var r in e)d(i,r,{get:e[r],enumerable:!0})},a=(i,e,r,s)=>{if(e&&typeof e==\"object\"||typeof e==\"function\")for(let t of m(e))!p.call(i,t)&&t!==r&&d(i,t,{get:()=>e[t],enumerable:!(s=g(e,t))||s.enumerable});return i};var B=(i,e,r)=>(r=i!=null?u(b(i)):{},a(e||!i||!i.__esModule?d(r,\"default\",{value:i,enumerable:!0}):r,i)),w=i=>a(d({},\"__esModule\",{value:!0}),i);var h=k((S,l)=>{l.exports=_jsx_runtime});var M={};f(M,{default:()=>o});var n=B(h());function c(i){let e={a:\"a\",blockquote:\"blockquote\",code:\"code\",em:\"em\",h2:\"h2\",h3:\"h3\",img:\"img\",li:\"li\",ol:\"ol\",p:\"p\",pre:\"pre\",span:\"span\",strong:\"strong\",table:\"table\",tbody:\"tbody\",td:\"td\",th:\"th\",thead:\"thead\",tr:\"tr\",ul:\"ul\",...i.components};return(0,n.jsxs)(n.Fragment,{children:[(0,n.jsx)(e.p,{children:\"Apples neuer Mac Studio erreicht maximal 512GB Unified Memory. In der Presse wird das so dargestellt, dass damit Modelle im Frontier-Ma\\xDFstab auf den Schreibtisch passen. Das stimmt weitgehend \\u2013 und es ist zugleich die Antwort auf eine Frage, die sich die meisten Mac-K\\xE4ufer gar nicht stellen.\"}),`\n`,(0,n.jsxs)(e.p,{children:[\"Die Frage, die sie sich tats\\xE4chlich stellen, ist enger gefasst und n\\xFCtzlicher: \",(0,n.jsx)(e.strong,{children:\"Wie viel Arbeitsspeicher muss ich angesichts dessen, was ich ausf\\xFChren m\\xF6chte, tats\\xE4chlich kaufen?\"}),\" Unified Memory ist fest mit dem Chip-Package verl\\xF6tet. Sie haben genau eine Gelegenheit, diese Frage zu beantworten \\u2013 beim Checkout, f\\xFCr die gesamte Lebensdauer des Ger\\xE4ts.\"]}),`\n`,(0,n.jsx)(e.p,{children:\"Die gute Nachricht: Es ist reine Arithmetik, keine Meinungssache. Dieser Artikel rechnet es durch.\"}),`\n`,(0,n.jsx)(e.p,{children:(0,n.jsx)(e.img,{alt:\"Unified Memory und lokale LLMs auf dem Mac\",src:\"/images/blog/mac-unified-memory-local-llm-how-much-ram-m5-ultra-512gb-guide-2026/hero.webp\",width:\"1024\",height:\"541\"})}),`\n`,(0,n.jsx)(e.h2,{id:\"kernaussagen\",children:\"Kernaussagen\"}),`\n`,(0,n.jsxs)(e.ul,{children:[`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Zwei Zahlen entscheiden \\xFCber alles.\"}),\" Die Speicher-\",(0,n.jsx)(e.em,{children:\"Kapazit\\xE4t\"}),\" entscheidet, ob ein Modell \\xFCberhaupt l\\xE4dt. Die Speicher-\",(0,n.jsx)(e.em,{children:\"Bandbreite\"}),\" entscheidet, wie schnell es Text generiert. Beide sind unabh\\xE4ngig voneinander, und eine Maschine kann bei der einen stark und bei der anderen schwach sein.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Sch\\xE4tzen Sie die Gewichte als Parameter \\xD7 Bytes pro Parameter.\"}),\" Bei 4-Bit-Quantisierung sind das etwa 0.55 Bytes pro Parameter, sodass ein 70B-Modell vor Ber\\xFCcksichtigung des Kontexts rund 38GB ben\\xF6tigt.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"macOS l\\xE4sst die GPU nicht Ihren gesamten RAM nutzen.\"}),\" Es gibt eine undokumentierte Obergrenze, die \\xFCber \",(0,n.jsx)(e.code,{children:\"iogpu.wired_limit_mb\"}),\" gesteuert wird. Auf einem 32GB-Mac stehen dem Modell nicht 32GB zur Verf\\xFCgung.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Apples plakative KI-Zahlen beschreiben die Prompt-Verarbeitung, nicht die Textgenerierung.\"}),\" Beide haben unterschiedliche Engp\\xE4sse. Lesen Sie die Formulierungen genau.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Die Kapazit\\xE4t des M5 Ultra ist nichts Neues.\"}),\" Der M3 Ultra bot bereits 2025 512GB. Ver\\xE4ndert hat sich die Bandbreite: von 819GB/s auf 1.2TB/s.\"]}),`\n`]}),`\n`,(0,n.jsx)(e.h2,{id:\"die-zwei-zahlen\",children:\"Die zwei Zahlen\"}),`\n`,(0,n.jsx)(e.p,{children:\"Fast jede schlechte Kaufentscheidung bei einem Mac f\\xFCr KI entsteht dadurch, dass diese beiden Zahlen zu einer verschmolzen werden.\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Kapazit\\xE4t ist eine Wand.\"}),\" Passt das Modell samt seinem Kontext nicht in den Speicher, l\\xE4uft es nicht. Es gibt keine sanfte Degradation wie bei einer dedizierten GPU, die in den System-RAM ausweichen kann \\u2013 auf einem Mac \",(0,n.jsx)(e.em,{children:\"ist\"}),\" der Unified Memory der System-RAM, und sobald Sie \\xFCberschreiten, was macOS der GPU zugesteht, scheitert entweder das Laden, oder Sie landen bei etwas deutlich Langsamerem.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Bandbreite ist ein Tempolimit.\"}),\" Um ein Token zu generieren, liest ein Dense-Modell seinen gesamten Gewichtssatz aus dem Speicher. Bei jedem einzelnen Token. Das bedeutet, die theoretische Obergrenze der Generierungsgeschwindigkeit ist die Speicherbandbreite geteilt durch die Modellgr\\xF6\\xDFe \\u2013 daran \\xE4ndert auch keine noch so hohe Anzahl an GPU-Cores etwas.\"]}),`\n`,(0,n.jsx)(e.p,{children:\"Deshalb kann eine Maschine ein 200GB-Modell fassen und sich trotzdem unbenutzbar anf\\xFChlen \\u2013 und deshalb kann sich ein kleines Modell auf einer bescheidenen Maschine augenblicklich anf\\xFChlen.\"}),`\n`,(0,n.jsx)(e.h2,{id:\"kapazit\\xE4t-was-passt-hinein\",children:\"Kapazit\\xE4t: Was passt hinein\"}),`\n`,(0,n.jsx)(e.p,{children:\"Die Gewichte sind der dominierende Kostenfaktor, und sie sind vorhersehbar:\"}),`\n`,(0,n.jsx)(n.Fragment,{children:(0,n.jsx)(e.pre,{className:\"shiki shiki-themes github-light github-dark\",style:{\"--shiki-light\":\"#24292e\",\"--shiki-dark\":\"#e1e4e8\",\"--shiki-light-bg\":\"#fff\",\"--shiki-dark-bg\":\"#24292e\"},tabIndex:\"0\",icon:'<svg viewBox=\"0 0 24 24\"><path d=\"M 6,1 C 4.354992,1 3,2.354992 3,4 v 16 c 0,1.645008 1.354992,3 3,3 h 12 c 1.645008,0 3,-1.354992 3,-3 V 8 7 A 1.0001,1.0001 0 0 0 20.707031,6.2929687 l -5,-5 A 1.0001,1.0001 0 0 0 15,1 h -1 z m 0,2 h 7 v 3 c 0,1.645008 1.354992,3 3,3 h 3 v 11 c 0,0.564129 -0.435871,1 -1,1 H 6 C 5.4358712,21 5,20.564129 5,20 V 4 C 5,3.4358712 5.4358712,3 6,3 Z M 15,3.4140625 18.585937,7 H 16 C 15.435871,7 15,6.5641288 15,6 Z\" fill=\"currentColor\" /></svg>',children:(0,n.jsx)(e.code,{children:(0,n.jsx)(e.span,{className:\"line\",children:(0,n.jsx)(e.span,{children:\"memory for weights \\u2248 parameters \\xD7 bytes per parameter\"})})})})}),`\n`,(0,n.jsx)(e.p,{children:\"Bytes pro Parameter h\\xE4ngen von der Quantisierung ab:\"}),`\n`,(0,n.jsxs)(e.table,{children:[(0,n.jsx)(e.thead,{children:(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.th,{children:\"Pr\\xE4zision\"}),(0,n.jsx)(e.th,{children:\"Bytes pro Parameter\"}),(0,n.jsx)(e.th,{children:\"Typische Verwendung\"})]})}),(0,n.jsxs)(e.tbody,{children:[(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"FP16 / BF16\"}),(0,n.jsx)(e.td,{children:\"2.0\"}),(0,n.jsx)(e.td,{children:\"Training, maximale Genauigkeit\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"8-bit (Q8)\"}),(0,n.jsx)(e.td,{children:\"~1.0\"}),(0,n.jsx)(e.td,{children:\"Nahezu verlustfreie Inferenz\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"4-bit (Q4_K_M)\"}),(0,n.jsx)(e.td,{children:\"~0.55\"}),(0,n.jsx)(e.td,{children:\"Der praktische Standard\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"3-bit\"}),(0,n.jsx)(e.td,{children:\"~0.42\"}),(0,n.jsx)(e.td,{children:\"Merklicher Qualit\\xE4tsverlust\"})]})]})]}),`\n`,(0,n.jsx)(e.p,{children:\"4-Bit-K-Quants liegen im Schnitt etwas \\xFCber 4 Bit, sobald man die Skalierungs-Metadaten mit einrechnet \\u2013 deshalb ist 0.55 statt 0.50 der ehrliche Wert. Wendet man das an:\"}),`\n`,(0,n.jsxs)(e.table,{children:[(0,n.jsx)(e.thead,{children:(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.th,{children:\"Modellgr\\xF6\\xDFe\"}),(0,n.jsx)(e.th,{children:\"4-bit\"}),(0,n.jsx)(e.th,{children:\"8-bit\"}),(0,n.jsx)(e.th,{children:\"FP16\"})]})}),(0,n.jsxs)(e.tbody,{children:[(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"8B\"}),(0,n.jsx)(e.td,{children:\"4.4 GB\"}),(0,n.jsx)(e.td,{children:\"8 GB\"}),(0,n.jsx)(e.td,{children:\"16 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"14B\"}),(0,n.jsx)(e.td,{children:\"7.7 GB\"}),(0,n.jsx)(e.td,{children:\"14 GB\"}),(0,n.jsx)(e.td,{children:\"28 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"32B\"}),(0,n.jsx)(e.td,{children:\"17.6 GB\"}),(0,n.jsx)(e.td,{children:\"32 GB\"}),(0,n.jsx)(e.td,{children:\"64 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"70B\"}),(0,n.jsx)(e.td,{children:\"38.5 GB\"}),(0,n.jsx)(e.td,{children:\"70 GB\"}),(0,n.jsx)(e.td,{children:\"140 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"120B\"}),(0,n.jsx)(e.td,{children:\"66 GB\"}),(0,n.jsx)(e.td,{children:\"120 GB\"}),(0,n.jsx)(e.td,{children:\"240 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"235B\"}),(0,n.jsx)(e.td,{children:\"129 GB\"}),(0,n.jsx)(e.td,{children:\"235 GB\"}),(0,n.jsx)(e.td,{children:\"\\u2014\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"400B\"}),(0,n.jsx)(e.td,{children:\"220 GB\"}),(0,n.jsx)(e.td,{children:\"400 GB\"}),(0,n.jsx)(e.td,{children:\"\\u2014\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"671B\"}),(0,n.jsx)(e.td,{children:\"369 GB\"}),(0,n.jsx)(e.td,{children:\"671 GB\"}),(0,n.jsx)(e.td,{children:\"\\u2014\"})]})]})]}),`\n`,(0,n.jsx)(e.h3,{id:\"dann-den-kontext-hinzurechnen\",children:\"Dann den Kontext hinzurechnen\"}),`\n`,(0,n.jsxs)(e.p,{children:[\"Der KV-Cache speichert die Attention-Keys und -Values f\\xFCr jedes Token der Konversation und w\\xE4chst linear mit der Kontextl\\xE4nge. Seine Gr\\xF6\\xDFe pro Token variiert stark je nach Architektur \\u2013 Modelle mit Grouped-Query-Attention sind hier deutlich g\\xFCnstiger als \\xE4ltere Designs \\u2013, aber ein praktikabler Bereich liegt bei \",(0,n.jsx)(e.strong,{children:\"0.1 MB bis 0.5 MB pro Token\"}),\".\"]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Bei 32.000 Tokens Kontext sind das zus\\xE4tzlich zu den Gewichten grob \",(0,n.jsx)(e.strong,{children:\"3GB bis 16GB\"}),\". Bei 128.000 Tokens kann das den Umfang des Modells selbst \\xFCbersteigen.\"]}),`\n`,(0,n.jsx)(e.p,{children:'Das ist der mit Abstand h\\xE4ufigste Grund, warum ein Modell, das \"eigentlich passen sollte\", es am Ende nicht tut. Wenn Sie vorhaben, lange Dokumente einzuspeisen oder lange Konversationen zu f\\xFChren, planen Sie das explizit ein, statt nur die Gewichte zu bemessen und zu hoffen.'}),`\n`,(0,n.jsx)(e.h3,{id:\"die-praktische-faustregel\",children:\"Die praktische Faustregel\"}),`\n`,(0,n.jsx)(n.Fragment,{children:(0,n.jsx)(e.pre,{className:\"shiki shiki-themes github-light github-dark\",style:{\"--shiki-light\":\"#24292e\",\"--shiki-dark\":\"#e1e4e8\",\"--shiki-light-bg\":\"#fff\",\"--shiki-dark-bg\":\"#24292e\"},tabIndex:\"0\",icon:'<svg viewBox=\"0 0 24 24\"><path d=\"M 6,1 C 4.354992,1 3,2.354992 3,4 v 16 c 0,1.645008 1.354992,3 3,3 h 12 c 1.645008,0 3,-1.354992 3,-3 V 8 7 A 1.0001,1.0001 0 0 0 20.707031,6.2929687 l -5,-5 A 1.0001,1.0001 0 0 0 15,1 h -1 z m 0,2 h 7 v 3 c 0,1.645008 1.354992,3 3,3 h 3 v 11 c 0,0.564129 -0.435871,1 -1,1 H 6 C 5.4358712,21 5,20.564129 5,20 V 4 C 5,3.4358712 5.4358712,3 6,3 Z M 15,3.4140625 18.585937,7 H 16 C 15.435871,7 15,6.5641288 15,6 Z\" fill=\"currentColor\" /></svg>',children:(0,n.jsx)(e.code,{children:(0,n.jsx)(e.span,{className:\"line\",children:(0,n.jsx)(e.span,{children:\"memory you need \\u2248 (weights) + (KV cache for your context) + 2\\u20133 GB overhead\"})})})})}),`\n`,(0,n.jsx)(e.p,{children:\"Und dann pr\\xFCfen Sie das gegen das, was macOS Ihnen tats\\xE4chlich zugesteht \\u2013 das ist nicht die Zahl auf der Verpackung.\"}),`\n`,(0,n.jsx)(e.h2,{id:\"die-obergrenze-\\xFCber-die-niemand-spricht\",children:\"Die Obergrenze, \\xFCber die niemand spricht\"}),`\n`,(0,n.jsx)(e.p,{children:\"macOS reserviert Unified Memory f\\xFCr das System und begrenzt, wie viel die GPU fest belegen darf. Der Regler daf\\xFCr ist ein sysctl:\"}),`\n`,(0,n.jsx)(n.Fragment,{children:(0,n.jsx)(e.pre,{className:\"shiki shiki-themes github-light github-dark\",style:{\"--shiki-light\":\"#24292e\",\"--shiki-dark\":\"#e1e4e8\",\"--shiki-light-bg\":\"#fff\",\"--shiki-dark-bg\":\"#24292e\"},tabIndex:\"0\",icon:'<svg viewBox=\"0 0 24 24\"><path d=\"m 4,4 a 1,1 0 0 0 -0.7070312,0.2929687 1,1 0 0 0 0,1.4140625 L 8.5859375,11 3.2929688,16.292969 a 1,1 0 0 0 0,1.414062 1,1 0 0 0 1.4140624,0 l 5.9999998,-6 a 1.0001,1.0001 0 0 0 0,-1.414062 L 4.7070312,4.2929687 A 1,1 0 0 0 4,4 Z m 8,14 a 1,1 0 0 0 -1,1 1,1 0 0 0 1,1 h 8 a 1,1 0 0 0 1,-1 1,1 0 0 0 -1,-1 z\" fill=\"currentColor\" /></svg>',children:(0,n.jsxs)(e.code,{children:[(0,n.jsxs)(e.span,{className:\"line\",children:[(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6F42C1\",\"--shiki-dark\":\"#B392F0\"},children:\"$\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" sysctl\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" iogpu.wired_limit_mb\"})]}),`\n`,(0,n.jsxs)(e.span,{className:\"line\",children:[(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6F42C1\",\"--shiki-dark\":\"#B392F0\"},children:\"iogpu.wired_limit_mb:\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#005CC5\",\"--shiki-dark\":\"#79B8FF\"},children:\" 0\"})]})]})})}),`\n`,(0,n.jsx)(e.p,{children:'Null bedeutet automatisch. Apple dokumentiert nicht, worauf sich \"automatisch\" konkret bel\\xE4uft, und ich werde mir keine Formel ausdenken \\u2013 aber Messungen aus der Community verorten den Wert konsistent bei etwa 65\\u201375% des Gesamtspeichers, wobei gr\\xF6\\xDFeren Maschinen ein gr\\xF6\\xDFerer Anteil zugestanden wird.'}),`\n`,(0,n.jsx)(e.p,{children:\"Die praktische Konsequenz f\\xFCr die Maschinen, die Sie eventuell kaufen:\"}),`\n`,(0,n.jsxs)(e.table,{children:[(0,n.jsx)(e.thead,{children:(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.th,{children:\"Installierter Speicher\"}),(0,n.jsx)(e.th,{children:\"Ungef\\xE4hr verf\\xFCgbar f\\xFCr die GPU\"})]})}),(0,n.jsxs)(e.tbody,{children:[(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"16 GB\"}),(0,n.jsx)(e.td,{children:\"~10\\u201312 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"32 GB\"}),(0,n.jsx)(e.td,{children:\"~21\\u201324 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"64 GB\"}),(0,n.jsx)(e.td,{children:\"~42\\u201348 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"128 GB\"}),(0,n.jsx)(e.td,{children:\"~85\\u201396 GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"512 GB\"}),(0,n.jsx)(e.td,{children:\"~340\\u2013384 GB\"})]})]})]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Sie k\\xF6nnen den Wert anheben. Die \\xC4nderung wirkt sofort und \\xFCbersteht \",(0,n.jsx)(e.strong,{children:\"keinen\"}),\" Neustart:\"]}),`\n`,(0,n.jsx)(n.Fragment,{children:(0,n.jsx)(e.pre,{className:\"shiki shiki-themes github-light github-dark\",style:{\"--shiki-light\":\"#24292e\",\"--shiki-dark\":\"#e1e4e8\",\"--shiki-light-bg\":\"#fff\",\"--shiki-dark-bg\":\"#24292e\"},tabIndex:\"0\",icon:'<svg viewBox=\"0 0 24 24\"><path d=\"m 4,4 a 1,1 0 0 0 -0.7070312,0.2929687 1,1 0 0 0 0,1.4140625 L 8.5859375,11 3.2929688,16.292969 a 1,1 0 0 0 0,1.414062 1,1 0 0 0 1.4140624,0 l 5.9999998,-6 a 1.0001,1.0001 0 0 0 0,-1.414062 L 4.7070312,4.2929687 A 1,1 0 0 0 4,4 Z m 8,14 a 1,1 0 0 0 -1,1 1,1 0 0 0 1,1 h 8 a 1,1 0 0 0 1,-1 1,1 0 0 0 -1,-1 z\" fill=\"currentColor\" /></svg>',children:(0,n.jsxs)(e.code,{children:[(0,n.jsx)(e.span,{className:\"line\",children:(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6A737D\",\"--shiki-dark\":\"#6A737D\"},children:\"# Allow the GPU to wire 28GB on a 32GB Mac\"})}),`\n`,(0,n.jsxs)(e.span,{className:\"line\",children:[(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6F42C1\",\"--shiki-dark\":\"#B392F0\"},children:\"sudo\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" sysctl\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" iogpu.wired_limit_mb=\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#005CC5\",\"--shiki-dark\":\"#79B8FF\"},children:\"28672\"})]}),`\n`,(0,n.jsx)(e.span,{className:\"line\"}),`\n`,(0,n.jsx)(e.span,{className:\"line\",children:(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6A737D\",\"--shiki-dark\":\"#6A737D\"},children:\"# Back to automatic\"})}),`\n`,(0,n.jsxs)(e.span,{className:\"line\",children:[(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6F42C1\",\"--shiki-dark\":\"#B392F0\"},children:\"sudo\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" sysctl\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" iogpu.wired_limit_mb=\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#005CC5\",\"--shiki-dark\":\"#79B8FF\"},children:\"0\"})]})]})})}),`\n`,(0,n.jsxs)(e.p,{children:[\"Gehen Sie dabei vorsichtig vor. Alles, was Sie sich nehmen, nehmen Sie dem Betriebssystem und jeder anderen Anwendung weg. Treiben Sie den Wert zu nah an Ihr Gesamtvolumen, landen Sie bei Swapping, dem bunten Ladeball oder einem Out-of-Memory-Kill \\u2013 und auf einem Mac mit schneller SSD ist Swapping unter Speicherdruck zugleich eine anhaltende Schreiblast. Wenn Sie schon einmal den Dialog \",(0,n.jsx)(e.code,{children:\"System has run out of application memory\"}),\" gesehen haben: Das ist einer der Wege, wie man dort landet.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Eine vern\\xFCnftige Obergrenze ist der Gesamtspeicher minus 6\\u20138GB f\\xFCr macOS und Ihre \\xFCbrigen Anwendungen. Setzen Sie den Wert, starten Sie Ihr Modell, und beobachten Sie den Speicherdruck in der Aktivit\\xE4tsanzeige. Wenn Sie generell Druckspitzen sehen, behandelt unser \",(0,n.jsx)(e.a,{href:\"/blog/macos-tahoe-ram-management-memory-optimization-complete-guide-2025\",children:\"Leitfaden zum Mac-Speichermanagement\"}),\" die Diagnose.\"]}),`\n`,(0,n.jsx)(e.p,{children:(0,n.jsx)(e.img,{alt:\"Speicherkapazit\\xE4t im Vergleich zur Bandbreite\",src:\"/images/blog/mac-unified-memory-local-llm-how-much-ram-m5-ultra-512gb-guide-2026/content-1.webp\",width:\"1024\",height:\"572\"})}),`\n`,(0,n.jsx)(e.h2,{id:\"bandbreite-wie-schnell-die-antwort-kommt\",children:\"Bandbreite: Wie schnell die Antwort kommt\"}),`\n`,(0,n.jsx)(e.p,{children:\"Hier ist die Sch\\xE4tzung, auf die es ankommt \\u2013 und hier ist genau das, was sie ist:\"}),`\n`,(0,n.jsx)(n.Fragment,{children:(0,n.jsx)(e.pre,{className:\"shiki shiki-themes github-light github-dark\",style:{\"--shiki-light\":\"#24292e\",\"--shiki-dark\":\"#e1e4e8\",\"--shiki-light-bg\":\"#fff\",\"--shiki-dark-bg\":\"#24292e\"},tabIndex:\"0\",icon:'<svg viewBox=\"0 0 24 24\"><path d=\"M 6,1 C 4.354992,1 3,2.354992 3,4 v 16 c 0,1.645008 1.354992,3 3,3 h 12 c 1.645008,0 3,-1.354992 3,-3 V 8 7 A 1.0001,1.0001 0 0 0 20.707031,6.2929687 l -5,-5 A 1.0001,1.0001 0 0 0 15,1 h -1 z m 0,2 h 7 v 3 c 0,1.645008 1.354992,3 3,3 h 3 v 11 c 0,0.564129 -0.435871,1 -1,1 H 6 C 5.4358712,21 5,20.564129 5,20 V 4 C 5,3.4358712 5.4358712,3 6,3 Z M 15,3.4140625 18.585937,7 H 16 C 15.435871,7 15,6.5641288 15,6 Z\" fill=\"currentColor\" /></svg>',children:(0,n.jsx)(e.code,{children:(0,n.jsx)(e.span,{className:\"line\",children:(0,n.jsx)(e.span,{children:\"tokens per second \\u2248 (memory bandwidth \\xD7 efficiency) \\xF7 weight size in bytes\"})})})})}),`\n`,(0,n.jsx)(e.p,{children:\"Die Effizienz bildet die L\\xFCcke zwischen der theoretischen Spitzenbandbreite und dem ab, was eine Inferenz-Engine tats\\xE4chlich erreicht \\u2013 auf Apple Silicon mit einer gut optimierten Runtime liegt sie grob bei 0.6 bis 0.8. Im Folgenden verwende ich 0.7.\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Das sind rechnerische Sch\\xE4tzungen auf Basis ver\\xF6ffentlichter Bandbreitenwerte, keine von mir durchgef\\xFChrten Benchmarks.\"}),\" Betrachten Sie sie als korrekte Gr\\xF6\\xDFenordnung und korrekte relative Reihenfolge, nicht als Messwerte. Die realen Zahlen variieren mit der Runtime, der Quantisierung, der Kontextl\\xE4nge und dem thermischen Verhalten.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Generierungsgeschwindigkeit f\\xFCr ein \",(0,n.jsx)(e.strong,{children:\"Dense\"}),\"-Modell bei 4-Bit:\"]}),`\n`,(0,n.jsxs)(e.table,{children:[(0,n.jsx)(e.thead,{children:(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.th,{}),(0,n.jsx)(e.th,{children:\"M6 (170GB/s)\"}),(0,n.jsx)(e.th,{children:\"M5 Pro (307GB/s)\"}),(0,n.jsx)(e.th,{children:\"M5 Max (614GB/s)\"}),(0,n.jsx)(e.th,{children:\"M5 Ultra (1.2TB/s)\"})]})}),(0,n.jsxs)(e.tbody,{children:[(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"8B (4.4GB)\"}),(0,n.jsx)(e.td,{children:\"~27 tok/s\"}),(0,n.jsx)(e.td,{children:\"~49 tok/s\"}),(0,n.jsx)(e.td,{children:\"~98 tok/s\"}),(0,n.jsx)(e.td,{children:\"~190 tok/s\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"32B (17.6GB)\"}),(0,n.jsx)(e.td,{children:\"~7 tok/s\"}),(0,n.jsx)(e.td,{children:\"~12 tok/s\"}),(0,n.jsx)(e.td,{children:\"~24 tok/s\"}),(0,n.jsx)(e.td,{children:\"~48 tok/s\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"70B (38.5GB)\"}),(0,n.jsx)(e.td,{children:\"passt nicht\"}),(0,n.jsx)(e.td,{children:\"~6 tok/s\"}),(0,n.jsx)(e.td,{children:\"~11 tok/s\"}),(0,n.jsx)(e.td,{children:\"~22 tok/s\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"120B (66GB)\"}),(0,n.jsx)(e.td,{children:\"passt nicht\"}),(0,n.jsx)(e.td,{children:\"passt nicht\"}),(0,n.jsx)(e.td,{children:\"~7 tok/s\"}),(0,n.jsx)(e.td,{children:\"~13 tok/s\"})]})]})]}),`\n`,(0,n.jsx)(e.p,{children:\"Zum Vergleich: eine angenehme Lesegeschwindigkeit liegt bei etwa 10 Tokens pro Sekunde. Unter etwa 5 h\\xF6ren die meisten Leute auf, das Ding zu benutzen.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Schauen Sie sich die 32B-Zeile an. Das ist ein und dasselbe Modell, und es reicht \\xFCber die Spanne hinweg von kaum ertr\\xE4glich bis wirklich flott \\u2013 ohne dass sich daran etwas \\xE4ndert, ob es passt. Das ist Bandbreite, nicht Kapazit\\xE4t, und es ist die Achse, die Leute vergessen, wenn sie die billigste Maschine kaufen, die das Modell technisch gerade noch fasst.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"warum-moe-modelle-die-antwort-ver\\xE4ndern\",children:\"Warum MoE-Modelle die Antwort ver\\xE4ndern\"}),`\n`,(0,n.jsx)(e.p,{children:\"Mixture-of-Experts-Modelle brechen die obige Regel, und genau das ist der ganze Grund, warum eine 512GB-Maschine interessant ist.\"}),`\n`,(0,n.jsxs)(e.p,{children:[\"Ein MoE-Modell speichert viele Experten-Subnetzwerke, aktiviert pro Token aber nur wenige davon. Ein 235B-Modell mit 22B aktiven Parametern muss Gewichte im Umfang von 235B \",(0,n.jsx)(e.em,{children:\"vorhalten\"}),\", \",(0,n.jsx)(e.em,{children:\"liest\"}),\" f\\xFCr jedes erzeugte Token jedoch nur etwa 22B davon.\"]}),`\n`,(0,n.jsx)(e.p,{children:\"Also:\"}),`\n`,(0,n.jsxs)(e.ul,{children:[`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Kapazit\\xE4t\"}),\" richtet sich nach der Gesamtzahl der Parameter \\u2014 129GB bei 4-bit.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Geschwindigkeit\"}),\" richtet sich nach den aktiven Parametern \\u2014 wie bei einem 22B-Dense-Modell, also grob 40 tok/s auf einem M5 Ultra statt der ~9 tok/s, die ein 235B-Dense-Modell schaffen w\\xFCrde.\"]}),`\n`]}),`\n`,(0,n.jsx)(e.p,{children:\"Das ist die Asymmetrie, die gro\\xDFe MoE-Modelle auf Apple Silicon praktikabel macht \\u2013 auf eine Weise, wie es bei einer Consumer-GPU nicht der Fall ist: Sie brauchen die Kapazit\\xE4t, die Apple in dieser Form zu diesem Preis als Einziger anbietet, und bekommen daf\\xFCr eine Geschwindigkeit, die einem deutlich kleineren Modell entspricht.\"}),`\n`,(0,n.jsxs)(e.p,{children:['Das ist auch der Grund, warum \"512GB f\\xFChrt Frontier-Modelle aus\" zwar stimmt, aber unvollst\\xE4ndig ist. Es f\\xFChrt ',(0,n.jsx)(e.em,{children:\"sparse\"}),\" Frontier-Modelle in nutzbarer Geschwindigkeit aus. Ein hypothetisches 400B-Dense-Modell bei 4-Bit w\\xFCrde 220GB belegen und auf einem M5 Ultra rund 4 Tokens pro Sekunde generieren. Es passt. Spa\\xDF machen w\\xFCrde es nicht.\"]}),`\n`,(0,n.jsx)(e.h2,{id:\"prompt-verarbeitung-ist-ein-anderes-problem\",children:\"Prompt-Verarbeitung ist ein anderes Problem\"}),`\n`,(0,n.jsx)(e.p,{children:\"Lesen Sie Apples Angaben zum neuen Mac mini genau:\"}),`\n`,(0,n.jsxs)(e.blockquote,{children:[`\n`,(0,n.jsxs)(e.p,{children:[\"Up to 4.8x faster \",(0,n.jsx)(e.strong,{children:\"LLM prompt processing\"}),` versus M4\nUp to 13.5x faster `,(0,n.jsx)(e.strong,{children:\"LLM prompt processing\"}),\" versus M1\"]}),`\n`]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Prompt-Verarbeitung \\u2014 Prefill \\u2014 ist die Phase, in der das Modell das aufnimmt, was Sie ihm gegeben haben. Jedes Token Ihrer Eingabe wird parallel verarbeitet, was diese Phase \",(0,n.jsx)(e.strong,{children:\"compute-bound\"}),\" macht: Sie skaliert mit dem GPU-Durchsatz, mit den Neural Accelerators, die inzwischen in jedem GPU-Core stecken, und beim M6 mit der ersten dualen Neural Engine, die Apple je ausgeliefert hat.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Die Token-Generierung \\u2014 Decode \\u2014 l\\xE4uft ein Token nach dem anderen ab, wobei jedes einen vollst\\xE4ndigen Durchlauf \\xFCber die Gewichte erfordert. Sie ist \",(0,n.jsx)(e.strong,{children:\"bandbreitengebunden\"}),\", und daran \\xE4ndert auch noch so viel Rechenleistung nichts.\"]}),`\n`,(0,n.jsx)(e.p,{children:\"Apple hat sich daf\\xFCr entschieden, die compute-bound H\\xE4lfte zu bewerben. Das ist nicht irref\\xFChrend; es ist tats\\xE4chlich die H\\xE4lfte, die sich in dieser Generation am st\\xE4rksten verbessert hat. Es bedeutet aber, dass die Marketingzahlen beschreiben, wie schnell die Maschine Ihr 50-seitiges Dokument liest \\u2014 nicht, wie schnell sie die Zusammenfassung schreibt.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Welche der beiden Sie interessiert, h\\xE4ngt von Ihrer Arbeit ab:\"}),`\n`,(0,n.jsxs)(e.ul,{children:[`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Lange Eingaben, kurze Ausgaben\"}),\" \\u2014 Dokumente zusammenfassen, klassifizieren, aus einer Codebase extrahieren \\u2014 ist prefill-dominiert. Apples Zahlen gelten hier.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Kurze Eingaben, lange Ausgaben\"}),\" \\u2014 Entw\\xFCrfe schreiben, Chat, Code-Generierung \\u2014 ist decode-dominiert. Hier z\\xE4hlt die Bandbreite.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Lange Eingaben und lange Ausgaben\"}),\" \\u2014 agentische Workflows \\xFCber einen gro\\xDFen Kontext \\u2014 brauchen beides, und zus\\xE4tzlich Kapazit\\xE4t f\\xFCr den KV-Cache.\"]}),`\n`]}),`\n`,(0,n.jsx)(e.h2,{id:\"was-sich-beim-m5-ultra-tats\\xE4chlich-ge\\xE4ndert-hat\",children:\"Was sich beim M5 Ultra tats\\xE4chlich ge\\xE4ndert hat\"}),`\n`,(0,n.jsx)(e.p,{children:\"Ein Teil der Launch-Berichterstattung suggerierte, dass es neu sei, ein Frontier-Modell auf einem Desktop vorzuhalten. Ist es nicht \\u2014 und wer das richtig einordnet, f\\xFCr den \\xE4ndert sich die Upgrade-Entscheidung, sofern bereits ein Mac Studio im Einsatz ist.\"}),`\n`,(0,n.jsxs)(e.table,{children:[(0,n.jsx)(e.thead,{children:(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.th,{}),(0,n.jsx)(e.th,{children:\"M3 Ultra (2025)\"}),(0,n.jsx)(e.th,{children:\"M5 Ultra (2026)\"})]})}),(0,n.jsxs)(e.tbody,{children:[(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"Max. Unified Memory\"}),(0,n.jsx)(e.td,{children:\"512GB\"}),(0,n.jsx)(e.td,{children:\"512GB\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"Speicherbandbreite\"}),(0,n.jsx)(e.td,{children:\"819GB/s\"}),(0,n.jsx)(e.td,{children:\"1.2TB/s\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"GPU-Cores\"}),(0,n.jsx)(e.td,{children:\"bis zu 80\"}),(0,n.jsx)(e.td,{children:\"bis zu 80\"})]}),(0,n.jsxs)(e.tr,{children:[(0,n.jsx)(e.td,{children:\"CPU-Cores\"}),(0,n.jsx)(e.td,{children:\"32\"}),(0,n.jsx)(e.td,{children:\"bis zu 36\"})]})]})]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Die Kapazit\\xE4t hat sich nicht ver\\xE4ndert. Die Anzahl der GPU-Cores hat sich nicht ver\\xE4ndert.\"}),\" Die Bandbreite ist um etwa 1.47x gestiegen, und die CPU hat vier Cores dazugewonnen.\"]}),`\n`,(0,n.jsx)(e.p,{children:'Das deckt sich exakt mit Apples eigenen Vergleichen gegen\\xFCber dem M3 Ultra \\u2014 \"up to 1.3x higher multithreaded performance\" und \"up to 1.8x faster graphics\" sind bescheidene Zahlen, und Apples gro\\xDFe Behauptung, \"up to 4.3x the peak AI compute performance\", stammt von den Neural Accelerators, die inzwischen in jedem GPU-Core stecken, und nicht von mehr oder gr\\xF6\\xDFeren Cores.'}),`\n`,(0,n.jsx)(e.p,{children:\"Speziell f\\xFCr lokale Inferenz bedeutet das:\"}),`\n`,(0,n.jsxs)(e.ul,{children:[`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Generierungsgeschwindigkeit\"}),\" verbessert sich grob im Gleichschritt mit der Bandbreite \\u2014 bei ein und demselben Modell etwa 1.4x.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Prompt-Verarbeitung\"}),\" verbessert sich deutlich st\\xE4rker, im Einklang mit jener 4.3x-KI-Rechenleistungszahl.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Was Sie laden k\\xF6nnen\"}),\" bleibt unver\\xE4ndert.\"]}),`\n`]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Wenn Sie einen M3 Ultra Mac Studio mit 512GB besitzen und Ihr limitierender Faktor ist, welche Modelle passen, l\\xF6st diese Generation kein Problem, das Sie haben. Wenn Ihr limitierender Faktor die Wartezeit beim Verarbeiten langer Prompts ist, adressiert sie das direkt. Unser \",(0,n.jsx)(e.a,{href:\"/blog/mac-studio-2025-m4-max-m3-ultra-performance-guide\",children:\"Leitfaden zur Performance von Mac Studio M4 Max und M3 Ultra\"}),\" behandelt die vorherige Generation im Detail.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[\"Noch ein Hinweis zum Zeitplan, den Sie vor der Bestellung kennen sollten: \",(0,n.jsx)(e.strong,{children:\"Die 512GB-Konfiguration erscheint nicht am 22. September zusammen mit allem anderen.\"}),\" Apple gibt Ende Oktober als Liefertermin an.\"]}),`\n`,(0,n.jsx)(e.p,{children:(0,n.jsx)(e.img,{alt:\"Die passende Mac-Konfiguration f\\xFCr lokale KI w\\xE4hlen\",src:\"/images/blog/mac-unified-memory-local-llm-how-much-ram-m5-ultra-512gb-guide-2026/content-2.webp\",width:\"1024\",height:\"572\"})}),`\n`,(0,n.jsx)(e.h2,{id:\"welche-maschine-je-nachdem-was-sie-tats\\xE4chlich-vorhaben\",children:\"Welche Maschine, je nachdem, was Sie tats\\xE4chlich vorhaben\"}),`\n`,(0,n.jsx)(e.h3,{id:\"16gb--daf\\xFCr-nicht-geeignet\",children:\"16GB \\u2014 daf\\xFCr nicht geeignet\"}),`\n`,(0,n.jsx)(e.p,{children:\"Ihnen stehen grob 10\\u201312GB f\\xFCr die GPU zur Verf\\xFCgung. Das reicht f\\xFCr 8B-Modelle bei 4-Bit mit bescheidenem Kontext, aber f\\xFCr nichts Gr\\xF6\\xDFeres. F\\xFCr Modelle der Autocomplete-Klasse und kleine lokale Assistenten ist das in Ordnung, bei allem anderen wird es Sie frustrieren. 2026 ist 16GB eine Maschine, die andere Dinge gut kann und LLMs eher nebenbei ausf\\xFChrt.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"32gb-m6-mac-mini-maximal-ausgestattet--1299--der-einstiegspunkt\",children:\"32GB (M6 Mac mini, maximal ausgestattet \\u2014 $1,299) \\u2014 der Einstiegspunkt\"}),`\n`,(0,n.jsx)(e.p,{children:\"Etwa 21\\u201324GB stehen zur Verf\\xFCgung. Das f\\xFChrt 8B- und 14B-Modelle komfortabel aus sowie ein 32B-Modell bei 4-Bit mit kurzem Kontext, mit rund 7 Tokens pro Sekunde. Diese letzte Zahl ist die ehrliche Grenze: Es passt, aber gerade noch am Rand des Angenehmen.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Gut geeignet f\\xFCr: lokale Coding-Assistenten, private Dokumentenarbeit, das Erlernen des Tooling. Das $400-Upgrade von 16GB ist nicht optional, wenn lokale Modelle einer der Gr\\xFCnde f\\xFCr den Kauf der Maschine sind.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"64gb-m5-pro-mac-mini--1699--der-sweet-spot-f\\xFCr-die-meisten-menschen\",children:\"64GB (M5 Pro Mac mini \\u2014 $1,699+) \\u2014 der Sweet Spot f\\xFCr die meisten Menschen\"}),`\n`,(0,n.jsx)(e.p,{children:\"Etwa 42\\u201348GB verf\\xFCgbar, dazu 307GB/s. Ein 70B-Modell bei 4-Bit passt mit Raum f\\xFCr echten Kontext und generiert rund 6 Tokens pro Sekunde \\u2014 brauchbar f\\xFCr Batch-Arbeit, langsam f\\xFCr interaktiven Chat. Ein 32B-Modell l\\xE4uft mit rund 12 Tokens pro Sekunde, was angenehm ist.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Hier landet die meiste ernsthafte Nutzung lokaler Modelle, und das ist die Konfiguration, auf die ich die meisten Menschen hinweisen w\\xFCrde. Sie bringt au\\xDFerdem Thunderbolt 5 mit, das der M6 mini nicht hat.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"128gb-m5-max-mac-studio--2499--die-profi-stufe\",children:\"128GB (M5 Max Mac Studio \\u2014 $2,499+) \\u2014 die Profi-Stufe\"}),`\n`,(0,n.jsx)(e.p,{children:\"Etwa 85\\u201396GB verf\\xFCgbar bei 614GB/s. 70B bei 4-Bit l\\xE4uft mit rund 11 Tokens pro Sekunde, angenehm interaktiv. Modelle der 120B-Klasse passen. Mittelgro\\xDFe MoE-Modelle werden praktikabel.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Das ist die Konfiguration f\\xFCr jemanden, dessen Arbeit t\\xE4glich von lokaler Inferenz abh\\xE4ngt \\u2014 die Bandbreite verdoppelt bei ein und demselben Modell grob die Generierungsgeschwindigkeit des M5 Pro.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"512gb-m5-ultra-mac-studio--5499-voll-ausgestattet-\\xFCber-18000--kapazit\\xE4t-die-es-sonst-nirgends-zu-kaufen-gibt\",children:\"512GB (M5 Ultra Mac Studio \\u2014 $5,499+, voll ausgestattet \\xFCber $18,000) \\u2014 Kapazit\\xE4t, die es sonst nirgends zu kaufen gibt\"}),`\n`,(0,n.jsx)(e.p,{children:\"Etwa 340\\u2013384GB verf\\xFCgbar bei 1.2TB/s. Das fasst MoE-Modelle der 400B-Klasse bei 4-Bit und generiert mit der Geschwindigkeit ihrer aktiven Parameteranzahl \\u2014 genau das kann kein anderer Desktop zu diesem Preis.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Kaufen Sie das, wenn Sie auf eine Weise kapazit\\xE4tsgebunden sind, die nichts anderes l\\xF6st. Wenn Ihre Modelle in 128GB passen, kauft Ihnen der Ultra Geschwindigkeit, die Sie auch g\\xFCnstiger bekommen.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"wenn-sie-keinen-neuen-mac-kaufen\",children:\"Wenn Sie keinen neuen Mac kaufen\"}),`\n`,(0,n.jsx)(e.p,{children:\"Ein vorhandener M1/M2/M3/M4-Mac mit ausreichend Speicher f\\xFChrt lokale Modelle problemlos aus \\u2014 die Bandbreite in den Pro- und Max-Stufen ist seit mehreren Generationen gut. Pr\\xFCfen Sie Ihre eigenen Werte:\"}),`\n`,(0,n.jsx)(n.Fragment,{children:(0,n.jsx)(e.pre,{className:\"shiki shiki-themes github-light github-dark\",style:{\"--shiki-light\":\"#24292e\",\"--shiki-dark\":\"#e1e4e8\",\"--shiki-light-bg\":\"#fff\",\"--shiki-dark-bg\":\"#24292e\"},tabIndex:\"0\",icon:'<svg viewBox=\"0 0 24 24\"><path d=\"m 4,4 a 1,1 0 0 0 -0.7070312,0.2929687 1,1 0 0 0 0,1.4140625 L 8.5859375,11 3.2929688,16.292969 a 1,1 0 0 0 0,1.414062 1,1 0 0 0 1.4140624,0 l 5.9999998,-6 a 1.0001,1.0001 0 0 0 0,-1.414062 L 4.7070312,4.2929687 A 1,1 0 0 0 4,4 Z m 8,14 a 1,1 0 0 0 -1,1 1,1 0 0 0 1,1 h 8 a 1,1 0 0 0 1,-1 1,1 0 0 0 -1,-1 z\" fill=\"currentColor\" /></svg>',children:(0,n.jsxs)(e.code,{children:[(0,n.jsx)(e.span,{className:\"line\",children:(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6A737D\",\"--shiki-dark\":\"#6A737D\"},children:\"# Total memory in GB\"})}),`\n`,(0,n.jsxs)(e.span,{className:\"line\",children:[(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#005CC5\",\"--shiki-dark\":\"#79B8FF\"},children:\"echo\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:' \"$(( '}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6F42C1\",\"--shiki-dark\":\"#B392F0\"},children:\"$(sysctl\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#005CC5\",\"--shiki-dark\":\"#79B8FF\"},children:\" -n\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:' hw.memsize) / 1073741824 )) GB\"'})]}),`\n`,(0,n.jsx)(e.span,{className:\"line\"}),`\n`,(0,n.jsx)(e.span,{className:\"line\",children:(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6A737D\",\"--shiki-dark\":\"#6A737D\"},children:\"# Chip and current GPU wired limit\"})}),`\n`,(0,n.jsxs)(e.span,{className:\"line\",children:[(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6F42C1\",\"--shiki-dark\":\"#B392F0\"},children:\"sysctl\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#005CC5\",\"--shiki-dark\":\"#79B8FF\"},children:\" -n\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" machdep.cpu.brand_string\"})]}),`\n`,(0,n.jsxs)(e.span,{className:\"line\",children:[(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#6F42C1\",\"--shiki-dark\":\"#B392F0\"},children:\"sysctl\"}),(0,n.jsx)(e.span,{style:{\"--shiki-light\":\"#032F62\",\"--shiki-dark\":\"#9ECBFF\"},children:\" iogpu.wired_limit_mb\"})]})]})})}),`\n`,(0,n.jsx)(e.p,{children:\"Wenden Sie dann die obigen Tabellen an. Ein 64GB M1 Max bei 400GB/s ist eine v\\xF6llig gute Maschine f\\xFCr lokale Inferenz \\u2014 und war es schon immer.\"}),`\n`,(0,n.jsx)(e.h2,{id:\"ein-durchgerechnetes-beispiel\",children:\"Ein durchgerechnetes Beispiel\"}),`\n`,(0,n.jsx)(e.p,{children:\"Abstrakten Tabellen nickt man leicht zu, aber sie sind schwer in die Tat umzusetzen. Hier ist die \\xDCberlegung, angewendet auf einen konkreten Fall.\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Die Anforderung:\"}),\" ein privater Coding-Assistent, der eine mittelgro\\xDFe Codebase liest, einen 32.000-Token-Kontext h\\xE4lt und interaktiv antwortet. Sie wollen ein Modell der 32B-Klasse, weil kleinere bei Code merklich schlechter abschneiden.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Schritt 1 \\u2014 Gewichte.\"}),\" 32B bei 4-Bit: 32 \\xD7 0.55 = \",(0,n.jsx)(e.strong,{children:\"17.6GB\"}),\".\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Schritt 2 \\u2014 Kontext.\"}),\" 32,000 Tokens bei rund 0.2 MB pro Token f\\xFCr ein modernes Grouped-Query-Attention-Modell: \",(0,n.jsx)(e.strong,{children:\"etwa 6.4GB\"}),\". Das ist der Posten, den man vergisst, und hier macht er \\xFCber ein Drittel der Gewichtsgr\\xF6\\xDFe aus.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Schritt 3 \\u2014 Overhead.\"}),\" Runtime, Metal-Buffer, Tokenizer: \",(0,n.jsx)(e.strong,{children:\"2\\u20133GB\"}),\".\"]}),`\n`,(0,n.jsx)(e.p,{children:(0,n.jsx)(e.strong,{children:\"Summe: rund 26\\u201327GB, die f\\xFCr die GPU gewiret werden m\\xFCssen.\"})}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Schritt 4 \\u2014 Umrechnung auf installierten Speicher.\"}),\" Bei einer automatischen Obergrenze von ~70% braucht man f\\xFCr 27GB gewiret rund 38GB installiert. Ein 32GB-Mac gibt Ihnen automatisch 21\\u201324GB \\u2014 nicht genug. Sie k\\xF6nnten \",(0,n.jsx)(e.code,{children:\"iogpu.wired_limit_mb\"}),\" auf einer 32GB-Maschine auf 27GB anheben, was 5GB f\\xFCr macOS und alles andere \\xFCbrig l\\xE4sst. Das funktioniert, solange nichts anderes l\\xE4uft, und bricht in dem Moment zusammen, in dem Sie einen Browser \\xF6ffnen.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Fazit: 64GB installiert.\"}),\" Das landet beim M5 Pro Mac mini, nicht beim M6.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Schritt 5 \\u2014 die Geschwindigkeit pr\\xFCfen.\"}),\" 307GB/s \\xD7 0.7 \\xF7 17.6GB \\u2248 \",(0,n.jsx)(e.strong,{children:\"12 Tokens pro Sekunde\"}),\". Angenehm f\\xFCr interaktive Nutzung.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[\"\\xC4ndern Sie nun eine einzige Variable. Lassen Sie alles andere gleich und verlangen Sie einen 128,000-Token-Kontext: Der KV-Cache steigt auf rund 25GB, der Gesamtbedarf auf etwa 45GB, und der erforderliche installierte Speicher auf \",(0,n.jsx)(e.em,{children:\"mindestens\"}),\" 64GB bei angehobener Wired-Grenze \\u2014 oder 128GB, um komfortabel zu sein. Eine einzige Einstellung hat die Antwort um eine ganze Produktstufe nach oben verschoben.\"]}),`\n`,(0,n.jsx)(e.p,{children:\"Das ist die gesamte Methode. Gewichte, Kontext, Overhead, geteilt durch die Obergrenze, dann die Bandbreite gegen die Gewichtsgr\\xF6\\xDFe pr\\xFCfen.\"}),`\n`,(0,n.jsx)(e.h2,{id:\"runtimes-verhalten-sich-nicht-alle-gleich\",children:\"Runtimes verhalten sich nicht alle gleich\"}),`\n`,(0,n.jsx)(e.p,{children:\"Die obige Arithmetik beschreibt die Hardware. Was Sie tats\\xE4chlich beobachten, h\\xE4ngt von der Software ab, und die Unterschiede sind gro\\xDF genug, um eine Kaufentscheidung zu ver\\xE4ndern.\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"MLX\"}),' ist Apples eigenes Array-Framework, gebaut f\\xFCr Unified Memory. Es kopiert nicht zwischen \"CPU-Speicher\" und \"GPU-Speicher\", weil es auf Apple Silicon diese Unterscheidung gar nicht gibt, und es ist in der Regel die speichereffizienteste Option auf einem Mac. Wenn Sie Hardware gezielt f\\xFCr lokale Inferenz kaufen, ist MLX-basiertes Tooling das, was die Hardware gut aussehen l\\xE4sst.']}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"llama.cpp\"}),\" und die darauf aufbauenden Tools sind die portabelste Option und bieten exzellente Metal-Unterst\\xFCtzung. Ihre Quantisierungsformate \\u2014 die \",(0,n.jsx)(e.code,{children:\"Q4_K_M\"}),\"-Familie, von der die obigen Tabellen ausgehen \\u2014 sind der De-facto-Standard, und ihr Speicherverhalten ist vorhersehbar und gut dokumentiert.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Ollama\"}),' umh\\xFCllt llama.cpp mit Modellverwaltung. Praktisch \\u2014 und was Sie wissen sollten: Es h\\xE4lt Modelle nach der Nutzung noch f\\xFCr eine konfigurierbare Zeit im Speicher. Wenn Sie nahe an Ihrer Obergrenze arbeiten, kann ein Modell, mit dem Sie vor einer Stunde fertig waren, immer noch Speicher belegen. Das ist eine h\\xE4ufige Ursache f\\xFCr \"gestern hat es doch funktioniert\".']}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"LM Studio\"}),\" ist die grafische Option und ehrlich beim Thema Speicher \\u2014 es zeigt Ihnen vor dem Laden, was passt und was nicht. Das ist ein guter Weg, ein Gef\\xFChl f\\xFCr diese Zahlen zu entwickeln, ohne selbst zu rechnen.\"]}),`\n`,(0,n.jsx)(e.p,{children:\"Zwei Verhaltensweisen sind wichtig, unabh\\xE4ngig davon, welche Sie verwenden:\"}),`\n`,(0,n.jsxs)(e.ol,{children:[`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Ob der KV-Cache vorab reserviert wird.\"}),\" Manche Runtimes reservieren beim Laden das gesamte Kontextfenster; andere lassen ihn mit der Konversation mitwachsen. Vorab-Reservierung bedeutet, dass ein Modell, das in der Praxis laufen w\\xFCrde, nicht l\\xE4dt. Wenn ein Modell bei 128K das Laden verweigert, bei 8K aber l\\xE4dt, liegt genau das vor \\u2014 und die L\\xF6sung ist, den konfigurierten Kontext zu senken, nicht ein kleineres Modell zu w\\xE4hlen.\"]}),`\n`,(0,n.jsxs)(e.li,{children:[(0,n.jsx)(e.strong,{children:\"Ob nicht genutzte Modelle entladen werden.\"}),\" Pr\\xFCfen Sie die Keep-Alive-Einstellung Ihrer Runtime, bevor Sie schlie\\xDFen, Ihre Maschine sei zu klein.\"]}),`\n`]}),`\n`,(0,n.jsx)(e.h2,{id:\"spielraum-gewinnen-ohne-speicher-zu-kaufen\",children:\"Spielraum gewinnen, ohne Speicher zu kaufen\"}),`\n`,(0,n.jsx)(e.p,{children:\"Bevor Sie $400 f\\xFCr eine Speicherstufe ausgeben: Mehrere Techniken ver\\xE4ndern die Rechnung.\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"St\\xE4rker quantisieren.\"}),\" Der Wechsel von 8-Bit auf 4-Bit halbiert Ihren Speicherbedarf bei \\xFCberschaubarem Qualit\\xE4tsverlust. Das ist fast immer der bessere Tausch, als zu einem kleineren Modell mit h\\xF6herer Pr\\xE4zision zu wechseln \\u2014 ein 32B-Modell bei 4-Bit schl\\xE4gt bei \\xE4hnlichem Speicherbedarf in der Regel ein 14B-Modell bei 8-Bit.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Den KV-Cache quantisieren.\"}),\" Die meisten Runtimes k\\xF6nnen den KV-Cache mit 8-Bit oder niedriger speichern. Bei langen Kontexten, wo der Cache es mit den Gewichten aufnehmen kann, ist das die mit Abstand gr\\xF6\\xDFte verf\\xFCgbare Einsparung, und die Qualit\\xE4tseinbu\\xDFe ist gering.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Den Kontext richtig dimensionieren.\"}),\" Ein 128K-Kontextfenster, von dem Sie 4,000 Tokens nutzen, kostet bei vorab reservierenden Runtimes trotzdem den vollen Preis. Konfigurieren Sie den Kontext, den Sie tats\\xE4chlich nutzen.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"MoE-Modelle bevorzugen.\"}),\" Wie oben beschrieben, gibt Ihnen ein Mixture-of-Experts-Modell die Qualit\\xE4t eines gro\\xDFen Modells bei der Generierungsgeschwindigkeit eines kleinen. Der Preis daf\\xFCr ist Kapazit\\xE4t \\u2014 und genau davon hat ein Mac mehr als die Alternativen.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Speculative Decoding nutzen.\"}),\" Ein kleines Draft-Modell schl\\xE4gt mehrere Tokens vor, und das gro\\xDFe Modell verifiziert sie in einem einzigen Durchlauf. Weil die Verifikation parallel abl\\xE4uft, greift das direkt den Bandbreiten-Engpass an und kann Tokens pro Sekunde sp\\xFCrbar erh\\xF6hen \\u2014 auf Kosten davon, ein zweites, kleines Modell im Speicher vorzuhalten. Auf einer bandbreitenlimitierten Maschine mit Kapazit\\xE4tsreserven ist das ein guter Tausch.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Dinge schlie\\xDFen.\"}),\" Naheliegend, und trotzdem \\xFCberraschend oft die Antwort. Browser mit vielen Tabs, virtuelle Maschinen und Videoeditoren konkurrieren alle um denselben Pool. Es gibt keinen separaten VRAM, auf den man ausweichen k\\xF6nnte.\"]}),`\n`,(0,n.jsx)(e.h2,{id:\"h\\xE4ufige-probleme-beheben\",children:\"H\\xE4ufige Probleme beheben\"}),`\n`,(0,n.jsx)(e.h3,{id:\"das-modell-l\\xE4dt-aber-die-generierung-ist-extrem-langsam\",children:\"Das Modell l\\xE4dt, aber die Generierung ist extrem langsam\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Problem\"}),\": Sie haben \\xFCberschritten, was macOS der GPU zugesteht, und die Arbeit flie\\xDFt ins Swap. Symptome sind ein erstes Token, das viele Sekunden braucht, und eine Generierung, die stottert statt gleichm\\xE4\\xDFig zu streamen.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"L\\xF6sung\"}),\": Pr\\xFCfen Sie den Speicherdruck in der Aktivit\\xE4tsanzeige w\\xE4hrend der Generierung. Ist er gelb oder rot, verwenden Sie entweder eine kleinere Quantisierung, verkleinern Sie Ihr Kontextfenster, oder heben Sie \",(0,n.jsx)(e.code,{children:\"iogpu.wired_limit_mb\"}),\" an \\u2014 lassen Sie dabei mindestens 6\\u20138GB f\\xFCr das System \\xFCbrig. Ist der Druck gr\\xFCn und es ist trotzdem langsam, sind Sie schlicht bandbreitenlimitiert, und die L\\xF6sung ist ein kleineres Modell.\"]}),`\n`,(0,n.jsx)(e.h3,{id:\"system-has-run-out-of-application-memory\",children:'\"System has run out of application memory\"'}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Problem\"}),\": Meist eine zu aggressiv gesetzte Wired-Grenze, oder ein gro\\xDFer Kontext, der im Laufe einer langen Sitzung gewachsen ist.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"L\\xF6sung\"}),\": Setzen Sie mit \",(0,n.jsx)(e.code,{children:\"sudo sysctl iogpu.wired_limit_mb=0\"}),\" zur\\xFCck und starten Sie den Inferenzprozess neu. Starten Sie das System neu, falls es weiterhin unzufrieden bleibt \\u2014 die Einstellung ist nicht persistent, ein Neustart l\\xF6scht sie in jedem Fall. Verwandte Ursachen behandelt unser \",(0,n.jsx)(e.a,{href:\"/blog/macos-tahoe-memory-leak-fix-complete-guide-2026\",children:\"Leitfaden zur Fehlerbehebung bei Speicherlecks\"}),\".\"]}),`\n`,(0,n.jsx)(e.h3,{id:\"es-passt-auf-dem-papier-l\\xE4dt-aber-nicht\",children:\"Es passt auf dem Papier, l\\xE4dt aber nicht\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Problem\"}),\": Sie haben nur f\\xFCr die Gewichte dimensioniert und den KV-Cache vergessen, oder die Runtime reserviert den vollen Kontext im Voraus, statt ihn wachsen zu lassen.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"L\\xF6sung\"}),\": Senken Sie die Kontextl\\xE4nge in den Einstellungen Ihrer Runtime und versuchen Sie es erneut. Wenn ein 32K-Kontext l\\xE4dt und 128K nicht, best\\xE4tigt das die Diagnose, und die Arithmetik im Kapitel zur Kapazit\\xE4t sagt Ihnen, wie viel Sie f\\xFCr den gew\\xFCnschten Kontext brauchen.\"]}),`\n`,(0,n.jsx)(e.h3,{id:\"der-mac-wird-hei\\xDF-und-wird-\\xFCber-eine-lange-sitzung-hinweg-langsamer\",children:\"Der Mac wird hei\\xDF und wird \\xFCber eine lange Sitzung hinweg langsamer\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Problem\"}),\": Anhaltende Inferenz bedeutet eine anhaltende Last auf GPU und Speicher gleicherma\\xDFen. Laptops drosseln. Desktops meist nicht.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"L\\xF6sung\"}),\": Das ist eines der echten Argumente f\\xFCr einen Mac mini oder Mac Studio gegen\\xFCber einem MacBook bei dieser Art von Last \\u2014 anhaltender thermischer Spielraum. F\\xFCr einen Laptop siehe unseren \",(0,n.jsx)(e.a,{href:\"/blog/macbook-pro-m5-overheating-thermal-throttling-fix-guide-2026\",children:\"Leitfaden zum thermischen Throttling beim MacBook Pro M5\"}),\".\"]}),`\n`,(0,n.jsx)(e.h3,{id:\"schnelle-prompt-verarbeitung-langsame-generierung\",children:\"Schnelle Prompt-Verarbeitung, langsame Generierung\"}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"Problem\"}),\": Es ist nichts falsch. Das ist genau das erwartete Verhalten der Hardware.\"]}),`\n`,(0,n.jsxs)(e.p,{children:[(0,n.jsx)(e.strong,{children:\"L\\xF6sung\"}),\": Siehe den Abschnitt zu Prefill versus Decode weiter oben. Wenn Sie Generierungsgeschwindigkeit brauchen, ist die L\\xF6sung ein kleineres Modell, eine aggressivere Quantisierung, ein MoE-Modell mit geringer Anzahl aktiver Parameter oder mehr Bandbreite \\u2014 in dieser Reihenfolge der Kosten.\"]}),`\n`,(0,n.jsx)(e.h2,{id:\"faq\",children:\"FAQ\"}),`\n`,(0,n.jsx)(e.h3,{id:\"wie-viel-ram-brauche-ich-um-ein-70b-modell-auszuf\\xFChren\",children:\"Wie viel RAM brauche ich, um ein 70B-Modell auszuf\\xFChren?\"}),`\n`,(0,n.jsxs)(e.p,{children:[\"Bei 4-Bit-Quantisierung liegen die Gewichte bei etwa 38.5GB. Rechnet man Kontext und Overhead hinzu, sind \",(0,n.jsx)(e.strong,{children:\"64GB installiert\"}),\" ein realistisches Minimum, weil macOS davon nur rund 42\\u201348GB an die GPU weitergibt. 48GB installiert sind zu knapp, sobald ein nennenswerter Kontext dazukommt.\"]}),`\n`,(0,n.jsx)(e.h3,{id:\"reichen-16gb-f\\xFCr-lokale-ki-im-jahr-2026\",children:\"Reichen 16GB f\\xFCr lokale KI im Jahr 2026?\"}),`\n`,(0,n.jsx)(e.p,{children:\"F\\xFCr 8B-Modelle bei 4-Bit mit kurzem Kontext: ja. F\\xFCr alles Gr\\xF6\\xDFere: nein. Wenn lokale Modelle einer der Gr\\xFCnde f\\xFCr den Kauf der Maschine sind, betrachten Sie 32GB als Untergrenze und 64GB als Zielwert.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"beschleunigt-die-neural-engine-lokale-llms\",children:\"Beschleunigt die Neural Engine lokale LLMs?\"}),`\n`,(0,n.jsx)(e.p,{children:'Sie tr\\xE4gt zur Prompt-Verarbeitung bei \\u2014 daher stammt auch Apples Zahl \"4.8x faster LLM prompt processing\" \\u2014, und die duale 16-Core-Neural-Engine des M6 ist ein echter Schritt nach vorn. Sie \\xE4ndert aber nichts an der Bandbreitengrenze bei der Token-Generierung. Die meisten popul\\xE4ren Runtimes f\\xFCr lokale Inferenz auf dem Mac setzen prim\\xE4r auf die GPU \\xFCber Metal.'}),`\n`,(0,n.jsx)(e.h3,{id:\"sollte-ich-den-512gb-mac-studio-kaufen\",children:\"Sollte ich den 512GB Mac Studio kaufen?\"}),`\n`,(0,n.jsx)(e.p,{children:\"Nur wenn Sie kapazit\\xE4tsgebunden sind. Wenn die Modelle, die Sie tats\\xE4chlich nutzen, in 128GB passen, erledigt ein M5 Max Mac Studio dieselbe Arbeit f\\xFCr ein Drittel des Preises. Beachten Sie au\\xDFerdem, dass die 512GB-Option erst Ende Oktober ausgeliefert wird und die voll ausgestattete Maschine $18,299 erreicht.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"kann-ich-sp\\xE4ter-speicher-nachr\\xFCsten\",children:\"Kann ich sp\\xE4ter Speicher nachr\\xFCsten?\"}),`\n`,(0,n.jsx)(e.p,{children:\"Nein. Unified Memory ist bei jedem Apple-Silicon-Mac Teil des Chip-Packages. Das ist die Spezifikation, bei der sich \\xDCberdimensionierung am ehesten lohnt, weil es die einzige ist, die Sie nie nachtr\\xE4glich korrigieren k\\xF6nnen.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"ist-ein-mac-daf\\xFCr-besser-als-ein-pc-mit-dedizierter-gpu\",children:\"Ist ein Mac daf\\xFCr besser als ein PC mit dedizierter GPU?\"}),`\n`,(0,n.jsx)(e.p,{children:\"Unterschiedliche Kompromisse. Eine dedizierte GPU hat eine weit h\\xF6here Speicherbandbreite, aber deutlich weniger Speicher \\u2014 Consumer-Karten liegen deutlich unter dem, was ein Mac Studio bietet. Ein Mac gewinnt klar bei Kapazit\\xE4t pro Dollar und beim Stromverbrauch und verliert beim reinen Durchsatz bei Modellen, die klein genug sind, um in den VRAM zu passen. Bei gro\\xDFen Modellen ist der Mac oft die einzige Ein-Box-Option. Bei kleinen ist eine GPU schneller.\"}),`\n`,(0,n.jsx)(e.h3,{id:\"beeintr\\xE4chtigt-quantisierung-die-qualit\\xE4t\",children:\"Beeintr\\xE4chtigt Quantisierung die Qualit\\xE4t?\"}),`\n`,(0,n.jsx)(e.p,{children:\"8-Bit ist f\\xFCr die meisten Zwecke nahezu verlustfrei. 4-Bit-K-Quants sind der praktische Standard, und die Einbu\\xDFen sind bei den meisten Aufgaben \\xFCberschaubar. Unter 4-Bit f\\xE4llt die Qualit\\xE4t merklich ab. Gemessen an den obigen Speichertabellen halbiert der Wechsel von 8-Bit auf 4-Bit grob Ihren Speicherbedarf \\u2014 meist ein besserer Tausch, als zu einem kleineren Modell zu wechseln.\"}),`\n`,(0,n.jsx)(e.h2,{id:\"fazit\",children:\"Fazit\"}),`\n`,(0,n.jsx)(e.p,{children:\"Die 512GB-Schlagzeile ist real, und f\\xFCr eine kleine Zahl von Menschen ist sie entscheidend. F\\xFCr alle anderen ist die n\\xFCtzliche Version dieses Artikels drei Zeilen Arithmetik: Gewichte sind Parameter mal Bytes-pro-Parameter, Kontext addiert obendrauf 0.1\\u20130.5 MB pro Token, und macOS gibt der GPU nur etwa 65\\u201375% dessen, was Sie gekauft haben.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Rechnen Sie diese Zahlen gegen die Modelle durch, die Sie tats\\xE4chlich nutzen wollen, und die Antwort landet meist bei 64GB. Pr\\xFCfen Sie dann die zweite Zahl \\u2014 die Bandbreite \\u2014, denn sie entscheidet, ob das Modell, das passt, auch eines ist, das Sie weiterhin nutzen werden. Die L\\xFCcke zwischen einem 32B-Modell mit 7 Tokens pro Sekunde und demselben Modell mit 24 Tokens pro Sekunde ist die L\\xFCcke zwischen einer Demo und einem Werkzeug, und keine noch so gro\\xDFe Kapazit\\xE4t schlie\\xDFt sie.\"}),`\n`,(0,n.jsx)(e.p,{children:\"Und f\\xFCr welche Konfiguration Sie sich auch entscheiden \\u2014 entscheiden Sie sorgf\\xE4ltig. Sie ist verl\\xF6tet.\"}),`\n`,(0,n.jsx)(e.p,{children:(0,n.jsxs)(e.em,{children:[\"Weiterf\\xFChrende Lekt\\xFCre: \",(0,n.jsx)(e.a,{href:\"/blog/mac-mini-m6-mac-studio-m5-ultra-2026-specs-price-buying-guide\",children:\"Mac mini M6 und Mac Studio M5 Ultra: was sich wirklich ge\\xE4ndert hat\"}),\", \",(0,n.jsx)(e.a,{href:\"/blog/local-ai-apps-mac-privacy-guide-2026\",children:\"lokale KI-Apps auf dem Mac und was sie mit Ihren Daten machen\"}),\", und \",(0,n.jsx)(e.a,{href:\"/blog/mac-ram-prices-rising-2026-dram-shortage-memory-buying-guide\",children:\"Mac-RAM-Preise steigen 2026\"}),\".\"]})})]})}function o(i={}){let{wrapper:e}=i.components||{};return e?(0,n.jsx)(e,{...i,children:(0,n.jsx)(c,{...i})}):c(i)}return w(M);})();\n;return Component;","toc":[{"title":"Kernaussagen","url":"#kernaussagen","depth":2},{"title":"Die zwei Zahlen","url":"#die-zwei-zahlen","depth":2},{"title":"Kapazität: Was passt hinein","url":"#kapazität-was-passt-hinein","depth":2},{"title":"Dann den Kontext hinzurechnen","url":"#dann-den-kontext-hinzurechnen","depth":3},{"title":"Die praktische Faustregel","url":"#die-praktische-faustregel","depth":3},{"title":"Die Obergrenze, über die niemand spricht","url":"#die-obergrenze-über-die-niemand-spricht","depth":2},{"title":"Bandbreite: Wie schnell die Antwort kommt","url":"#bandbreite-wie-schnell-die-antwort-kommt","depth":2},{"title":"Warum MoE-Modelle die Antwort verändern","url":"#warum-moe-modelle-die-antwort-verändern","depth":3},{"title":"Prompt-Verarbeitung ist ein anderes Problem","url":"#prompt-verarbeitung-ist-ein-anderes-problem","depth":2},{"title":"Was sich beim M5 Ultra tatsächlich geändert hat","url":"#was-sich-beim-m5-ultra-tatsächlich-geändert-hat","depth":2},{"title":"Welche Maschine, je nachdem, was Sie tatsächlich vorhaben","url":"#welche-maschine-je-nachdem-was-sie-tatsächlich-vorhaben","depth":2},{"title":"16GB — dafür nicht geeignet","url":"#16gb--dafür-nicht-geeignet","depth":3},{"title":"32GB (M6 Mac mini, maximal ausgestattet — $1,299) — der Einstiegspunkt","url":"#32gb-m6-mac-mini-maximal-ausgestattet--1299--der-einstiegspunkt","depth":3},{"title":"64GB (M5 Pro Mac mini — $1,699+) — der Sweet Spot für die meisten Menschen","url":"#64gb-m5-pro-mac-mini--1699--der-sweet-spot-für-die-meisten-menschen","depth":3},{"title":"128GB (M5 Max Mac Studio — $2,499+) — die Profi-Stufe","url":"#128gb-m5-max-mac-studio--2499--die-profi-stufe","depth":3},{"title":"512GB (M5 Ultra Mac Studio — $5,499+, voll ausgestattet über $18,000) — Kapazität, die es sonst nirgends zu kaufen gibt","url":"#512gb-m5-ultra-mac-studio--5499-voll-ausgestattet-über-18000--kapazität-die-es-sonst-nirgends-zu-kaufen-gibt","depth":3},{"title":"Wenn Sie keinen neuen Mac kaufen","url":"#wenn-sie-keinen-neuen-mac-kaufen","depth":3},{"title":"Ein durchgerechnetes Beispiel","url":"#ein-durchgerechnetes-beispiel","depth":2},{"title":"Runtimes verhalten sich nicht alle gleich","url":"#runtimes-verhalten-sich-nicht-alle-gleich","depth":2},{"title":"Spielraum gewinnen, ohne Speicher zu kaufen","url":"#spielraum-gewinnen-ohne-speicher-zu-kaufen","depth":2},{"title":"Häufige Probleme beheben","url":"#häufige-probleme-beheben","depth":2},{"title":"Das Modell lädt, aber die Generierung ist extrem langsam","url":"#das-modell-lädt-aber-die-generierung-ist-extrem-langsam","depth":3},{"title":"\"System has run out of application memory\"","url":"#system-has-run-out-of-application-memory","depth":3},{"title":"Es passt auf dem Papier, lädt aber nicht","url":"#es-passt-auf-dem-papier-lädt-aber-nicht","depth":3},{"title":"Der Mac wird heiß und wird über eine lange Sitzung hinweg langsamer","url":"#der-mac-wird-heiß-und-wird-über-eine-lange-sitzung-hinweg-langsamer","depth":3},{"title":"Schnelle Prompt-Verarbeitung, langsame Generierung","url":"#schnelle-prompt-verarbeitung-langsame-generierung","depth":3},{"title":"FAQ","url":"#faq","depth":2},{"title":"Wie viel RAM brauche ich, um ein 70B-Modell auszuführen?","url":"#wie-viel-ram-brauche-ich-um-ein-70b-modell-auszuführen","depth":3},{"title":"Reichen 16GB für lokale KI im Jahr 2026?","url":"#reichen-16gb-für-lokale-ki-im-jahr-2026","depth":3},{"title":"Beschleunigt die Neural Engine lokale LLMs?","url":"#beschleunigt-die-neural-engine-lokale-llms","depth":3},{"title":"Sollte ich den 512GB Mac Studio kaufen?","url":"#sollte-ich-den-512gb-mac-studio-kaufen","depth":3},{"title":"Kann ich später Speicher nachrüsten?","url":"#kann-ich-später-speicher-nachrüsten","depth":3},{"title":"Ist ein Mac dafür besser als ein PC mit dedizierter GPU?","url":"#ist-ein-mac-dafür-besser-als-ein-pc-mit-dedizierter-gpu","depth":3},{"title":"Beeinträchtigt Quantisierung die Qualität?","url":"#beeinträchtigt-quantisierung-die-qualität","depth":3},{"title":"Fazit","url":"#fazit","depth":2}],"estimatedTime":23}