bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory 自然言語処理 mmngaさん作成のdeepseek-r1-distill-qwen2.5-bakeneko-32b-ggufを試してみます。rinna社変換バージョンではちょっと不自然な生成もありましたが良質なgguf変換モデルをいつも提供されるので期待しつつ試してみます。Colab L4環境でお試しします。VRAM占有率は 21593MiB / 23034MiB でした。 imatrix処理がよいのか、rinna社バージョンより自然な結果が生成されました。添付府テキスト付きの推論では、若干論理が飛躍というか自分の情報を持ち出して推論を進めていました。この様な膨らませ方が推論モデルのよいところなのでしょう。… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F23%2F205648" title="mmnga/deepseek-r1-distill-qwen2.5-bakeneko-32b-ggufをColabとollamaで試してみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-23 20:56:48 rich https://bwgift.hatenadiary.jp/entry/2025/02/23/205648 1.0 100%