bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 Rinna社のqwen2.5-bakeneko-32b-instruct-v2-ggufをmmngaさんのGUFFバージョンで試してみます。実力が発揮されると嬉しいなと思いつつ・・・。Colab L4環境で試してみます。VRAM占有率は20475MiB / 23034MiB でした。 知識は多少微妙な感じもします。langchainでまとめさせた比較では日本語の指示の方がよさそうです。ちゃんと検証が要りそうです。計算は一定の能力はあります。が、ハルシネーションが気になります。パラメータの調整が必要なのでしょうか。本家よりも回答品質は上がっている印象です。使いこなしたいモデルですが、もうちょっと… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F03%2F21%2F000306" title="mmnga/qwen2.5-bakeneko-32b-instruct-v2-ggufをollamaとcolabで試してみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-03-21 00:03:06 rich https://bwgift.hatenadiary.jp/entry/2025/03/21/000306 1.0 100%