nowokay https://blog.hatena.ne.jp/nowokay/ きしだのHatena https://nowokay.hatenablog.com/ LLM llama.cppにMoEに適したCPU/GPUの振り分けのオプションが入って、LM Studioでもそのオプションに対応したことによって、MoEモデルであるGPT-ossが少ないGPUメモリでもそれなりに動くようになりました。拡大するとわかりますが、LM Studioの右下の表示によると、メインメモリは12GBくらい使います。 14tok/sec出ています。 CPUだけで動かすと10tok/secだったので、5割マシですね。 0.3.23.0に「Force Model Expert weight onto CPU」というスイッチが入っているので、これをOnにするとExpertのウェイトがすべ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnowokay.hatenablog.com%2Fentry%2F2025%2F08%2F13%2F235311" title="GPUメモリ4GBあればGPT-oss 20Bが14tok/secで動く - きしだのHatena" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nowokay/20250813/20250813235237.png Hatena Blog https://hatena.blog 2025-08-13 23:53:11 rich https://nowokay.hatenablog.com/entry/2025/08/13/235311 1.0 100%