bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 GPT-4oを上回る性能という「ABEJA-QwQ32b-Reasoning-Japanese-v1.0」のGGUF版を試してみます。GUFFはmmngaさん作成のものを利用します。ColabはL4環境でVRAM占有率は21591MiB / 23034MiB でした。「強制的に思考過程を経るために <think>\n の後から出力を開始してください。」ということでしたが、含めず強行しました。それを割り引いて結果を見る必要はあると思います。 もともとQwQ-32Bは高い性能を有しています。日本語でどの程度の実力になるのか、興味深いです。生成された言葉を見ると、日本語は流暢ですが、プロンプトが悪い… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F04%2F18%2F214224" title="mmnga/ABEJA-QwQ32b-Reasoning-Japanese-v1.0-ggufをollamaとColabとでためしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-04-18 21:42:24 rich https://bwgift.hatenadiary.jp/entry/2025/04/18/214224 1.0 100%