bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ Colaboratory Python LLM 自然言語処理 我がPCでも動作できる軽量なLLMを使って遊んでいると、質問ごとにタスク選定の機能が欲しくなります。簡単なタスク分解が軽量モデルでできると（体感）応答速度の向上も期待できるかもしれません。もちろん、それなりのLLMモデルとLangchainを使うと簡単に実装できちゃいます。しかし、ローカルLLMのような回答精度が低いLLMの場合、JSONで出力させてもJSONのフォーマットに従ってない場合が多々あります。また、JSON形式以外の情報も丁寧に出力することも多いです。LLMの不正なJSON出力を後から整形するのは、素人には結構メンドイです。（他によい方法があったら、教えてください） ここでローカル… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2024%2F11%2F10%2F104356" title="ローカルLLMでタスクに応じたtool選択をJSON出力にしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://m.media-amazon.com/images/I/51tgyLjg7mL._SL500_.jpg Hatena Blog https://hatena.blog 2024-11-10 10:43:56 rich https://bwgift.hatenadiary.jp/entry/2024/11/10/104356 1.0 100%