bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ Python LLM Colaboratory 自然言語処理 Rakutenからモデルが公開されていたので、早速mmngaさんのGGUF変換バージョンを試してみます。ColabのA100環境でお試しします。VRAM占有率は29279MiB / 40960MiBです。 8x7Bモデルということで、知識はあります。要約タスクはかなりコンパクトにまとめる傾向にありました。また、参照テキストも付記しても返答に利用されていなかった。適切なSYSTEM PROMPTでなかったりするのかもしれませんが・・・。他の評価記事も楽しみです。32Bクラスで良いモデルもあるなか突出したとまでのぱっと見の印象はありません。今後、どう発展していくのでしょうか。 huggingfac… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F12%2F233056" title="RakutenAI-2.0-8x7B-instruct-ggufをollamaとColabで試してみます。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-12 23:30:56 rich https://bwgift.hatenadiary.jp/entry/2025/02/12/233056 1.0 100%