nowokay https://blog.hatena.ne.jp/nowokay/ きしだのHatena https://nowokay.hatenablog.com/ Mac上のLM StudioでLLMを動かすとき、MLX版とGGUF版があって、最近はMLX版のリリースが速いしMLXに発展してほしいし出力速度も速いし、ということでMLX版をなるべく使うようにしてたのですが、プロンプト処理がGGUF版に比べてかなり遅いようです。 そのため、エージェント処理などでトークンが長くなると使い物にならなくなっていました。 これはGGUF版GLM-4.7で「注文の多い料理店」を要約してもらったところ。 unslothさんのQ4_K_Mを使っています。 出力は15.25tok/sec、最初のトークンまでは28.44秒です。 一方でMLX版4ビット。 出力18.33tok… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnowokay.hatenablog.com%2Fentry%2F2025%2F12%2F28%2F225151" title="MacでLLMを動かすときMLX版はGGUF版に比べてプロンプト処理がかなり遅い - きしだのHatena" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nowokay/20251228/20251228225108.png Hatena Blog https://hatena.blog 2025-12-28 22:51:51 rich https://nowokay.hatenablog.com/entry/2025/12/28/225151 1.0 100%