bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 Llama 3.1 8Bをベースにして日本語強化のバージョン強化をしたLlama-3.1-Swallow-8B-Instruct-v0.5が公開されていました。Swallowとは言え、8Bモデルです。ここまで小さいモデルでしかも量子化モデル。mmngaさん作のGUFFを利用します。ColabのL4環境で試します。VRAM占有率は6363MiB / 23034MiB でした。 このクラスの日本語能力として高いレベルです。残念ですが、計算は間違ってしまいました。同クラスの推論モデルの方が高いスコア出したとしても回答生成までに時間がかかります。8Bの日本語利用の選択肢の一つになるのかなと思います。と… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F06%2F25%2F215917" title="mmnga/Llama-3.1-Swallow-8B-Instruct-v0.5-ggufをollamaとColabでためしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-06-25 21:59:17 rich https://bwgift.hatenadiary.jp/entry/2025/06/25/215917 1.0 100%