128GBユニファイドメモリで実際に動くもの
ローカルLLMのガイドは、そのほとんどが24GBのグラフィックスカードを前提に書かれていますが、このページは違います。 ここに掲載しているのは、当社が本番業務を回しているマシンでの実測値で、うまくいかなかった結果も含みます。 掲載している数値はすべて当社自身が計測したものです。
検証マシン
- マシン
- AMD Ryzen AI Max 395 (Strix Halo, gfx1151)
- ユニファイドメモリ
- 実効123 GiB
- GPU実効上限
- 96 GiB (ttm.pages_limit)
- メモリ帯域
- ~256 GB/s
- ランタイム
- llama.cpp (Vulkan), vLLM (ROCm)
シングルストリームでのサービング
| モデル | ビルド | アクティブ | tok/s | 備考 |
|---|---|---|---|---|
| Qwen3.6-35B-A3B | UD-Q4_K_XL + ネイティブMTP | アクティブ3B | 78.1 | 当社の本番モデル。MTP有効、GPU専有。 |
| Qwen3.6-35B-A3B | UD-Q4_K_XL、MTPなし | アクティブ3B | ~48 | 同一ウェイトで投機的デコードのみ無効。 |
| Gemma-4-26B-A4B | UD-Q8_K_XL | アクティブ4B | 41.7 | Q4ではなくQ8ですが、差はごくわずか。詳細は下記参照。 |
| Qwen3.6-35B dense distill | i1量子化 | dense | 12〜15 | このサイズのdenseはベンチ向きで、サービング向きではありません。 |
負荷時:32人同時アクセス
vLLM上のQwen3.6-27B AWQ INT4、ウェイト19 GiB。マシンがチームを支えられるかどうかを決めるのがこの表です。
| 同時ユーザー数 | 合計 tok/s | ユーザーあたり | 最遅応答 |
|---|---|---|---|
| 1 | 5.66 | 5.66 | 22.6秒 |
| 8 | 38.6 | 4.84 | 26.5秒 |
| 16 | 71.3 | 4.46 | 28.7秒 |
| 32 | 111.2 | 3.48 | 36.8秒 |
得られた知見(高くついた失敗も含めて)
スパースMoEでは、量子化は速度の決め手にならない
Qwen3.6-35B-A3BはQ4で48 tok/s、Q8で41.7 tok/sでした。精度を半分にしても差は約15%にとどまります。1トークンあたり読み出されるパラメータは3Bのみで、休止中のエキスパートの量子化は演算にほとんど関与しないためです。本当の決め手は投機的デコードで、同じモデルがMTP有効時には78.1 tok/sに達しました。もともと存在しない速度向上のために量子化を強め、品質を落としてしまうチームは少なくありません。
1ユーザーでマシンを評価してはいけない
当社のvLLM構成では、シングルストリームは5.66 tok/sで、マシンを見限りたくなるほど遅く感じました。しかし同じハードウェアが32同時ユーザーでは合計111.2 tok/s、19.6倍のスループットを出しています。共有のオンプレミスマシンは、1人がタイプしている状況ではなく、部屋全体で使われている状況で評価すべきです。
自社の数値はルーフラインで検証済み
19.05 GiBのウェイトを256 GB/sの帯域で読む場合、理論上限はシングルストリームで12.5 tok/s、バッチ32で約400 tok/sです。実測値はその上限のそれぞれ45%と28%でした。この一貫した効率レンジこそが、これらの数値が「話がうますぎる」ものではなく実測どおりであることを示しています。
蒸留モデルは毎回、素のモデルに負けた
固定14項目のタスクで、ファインチューニング版・蒸留版の各バリアントを素のモデルと比較しました。素のQwen3.6-35Bは77.7 tok/sで8/14。最良の蒸留版でも68.25 tok/sで6/14。遅いうえに精度も劣ります。スタイルの移植は指示追従性を損ないますが、その点に触れるマーケティングはほとんどありません。
上限を決めるのはモデルサイズではなくメモリ圧
このクラスのマシンのスワップはRAM上のzram 8 GiBで、ほぼ埋まっています。実質的な余裕はないため、ぎりぎり載るモデルは「遅く動く」のではなく、デスクトップごと落とします。当社は2回経験しました。余裕を残してください。最後の数GBは使える容量ではありません。
実際に載るモデルサイズ
| 区分 | モデル | フットプリント |
|---|---|---|
| 安全・高速 | gpt-oss-120B(アクティブ約5B)または GLM-4.5-Air 106B-A12B | 4bitで約65 GiB、32kコンテキスト |
| 余裕のあるdense | Q4で約120B、またはQ8で70B | 約70〜75 GiB |
| 限界ぎりぎり・リスクあり | Qwen3-235B-A22B(Q3) | 約100 GiB(GPU上限96 GiBに対して) |
| 載るがバッチ専用 | DeepSeek-V4-Flash IQ2_XXS | 約91 GiB、チャットではなく夜間バッチ向け |
自社のワークロードでこの数値を確かめたい方へ
上記の数値は、当社のタスクにおける当社の結果です。御社のワークロードでは異なる値になります。 それを正直に確かめる唯一の方法は、実際に購入するハードウェア上で測定することです。当社はその測定を業務として行っています。
オンプレミス構築のご相談はこちら →測定は2026年6月から8月にかけて、上記のマシンで実施しました。スループットはコンテキスト長、 同時実行数、GPU上に常駐する他のワークロードによって変動するため、同一ハードウェアにおける 下限の目安としてご覧いただき、保証値ではない点にご留意ください。