bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ llm-jp/llm-jp-3-13b-instruct3をためしてみます。SFT に加えて DPO を施したモデルがinstruct3とのことです。Colab L4環境で試しました。13Bなんでなんとか動くだろう・・・と思いましたが、生成時間節約のためmax_tokens=100で動作させています。今回は、量子化せずに、オリジナルのモデルで試しました。 日本語に関しては問題ないレベルです。要約や計算も問題なさそうです。ただ、要約は丁寧さが欲しいかも。量子化したときにどの程度軽くなるのか、気になります。 huggingface.co 生成結果 Q まどか☆マギカで一番かわいいのは？ A 「魔法… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F05%2F230021" title="llm-jp/llm-jp-3-13b-instruct3をColabで試してみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-05 23:00:21 rich https://bwgift.hatenadiary.jp/entry/2025/02/05/230021 1.0 100%