ginzanomama https://blog.hatena.ne.jp/ginzanomama/ みんなのちからになりたい https://ginzanomama.hatenablog.com/ 1. GPUメモリ4GBあればGPT-oss 20Bが14tok/secで動く LM Studioの新機能により、MoEモデルのGPT-ossが少ないGPUメモリでも動作可能に。CPU/GPUの振り分け最適化で4GBのVRAMでも14tok/secを実現。 主なトピック: MoE（Mixture of Experts）: ExpertウェイトをCPUに配置してVRAM使用量を削減 LM Studio v0.3.23: Force Model Expert weight onto CPUスイッチの追加 llama.cpp: --n-cpu-moeオプションによるCPU/GPU振り分け最適化 アテ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fginzanomama.hatenablog.com%2Fentry%2F2025%2F08%2F15%2F060152" title="今日の巡回 - みんなのちからになりたい" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-08-15 06:01:52 rich https://ginzanomama.hatenablog.com/entry/2025/08/15/060152 1.0 100%