nowokay https://blog.hatena.ne.jp/nowokay/ きしだのHatena https://nowokay.hatenablog.com/ AI ChatGPT LLM OpenAIのオープンモデルが来ました。 120Bと20B。どちらもMoEで、アクティブパラメータはそれぞれ5.1B、3.6Bです。 そして4bit浮動小数点での量子化があるので、120Bは80GBのVRAM、20Bは16GBのVRAMで動きます。 Introducing gpt-oss | OpenAI LM Studioで動かす。早い！速い！ LM Studioに即来ていました。早い！ 最新版にしてllama.cppも更新が必要です。 追記: 0.3.22-b1で正式にgpt-ossに対応したようです。記事を書いた時点での0.3.21-b4では対応が不完全だったらしい。 起動時にgpt-o… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnowokay.hatenablog.com%2Fentry%2F2025%2F08%2F06%2F063849" title="OpenAIのオープンモデルGPT-oss 20Bがすごすぎる - きしだのHatena" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nowokay/20250806/20250806064707.png Hatena Blog https://hatena.blog 2025-08-06 06:38:49 rich https://nowokay.hatenablog.com/entry/2025/08/06/063849 1.0 100%