kamotti92 https://blog.hatena.ne.jp/kamotti92/ Joy to the world https://joy2world.hateblo.jp/ AI 前の記事でローカルLLMを試してみたが、確かに4Bくらいでもそれなりには動くものの、しょぼいGPUやiGPUではちょっと厳しい。Jan-v1みたいなモデルでWebスクレイピングをして放置って用途ならこれでもいいが、文章要約とかあらかじめ用意されているドキュメントのRAG用途としてはちょっときつい。 そういうわけで、もう少し小さめのモデルで、要約とかRAGができるSLMを探してみた。 Gemma-2-2B-it Q5_K_S 速度は許容範囲だと思う。要約についてもそんなにシッチャカメッチャカな内容にならず、それなりに使えると思う。日本語で返せと言っても英語で返してくることもあるが、改めて日本語で… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fjoy2world.hateblo.jp%2Fentry%2F2025%2F08%2F15%2F142137" title="まともに日本語が話せそうなSLMを探す - Joy to the world" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/k/kamotti92/20250815/20250815145250.png Hatena Blog https://hatena.blog 2025-08-15 14:21:37 rich https://joy2world.hateblo.jp/entry/2025/08/15/142137 1.0 100%