bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 QwQ-32B-Previewはo1的な推論モデルを組み込んだ実験的なモデルです。中国語や英語が生成途中で混じったりすることがありました。その点をマージで調整されたEZO-QwQ-32B-PreviewのGGUFバージョンをお試ししてみます。ColabのL4環境です。 試した範囲では、中国語や英語が生成途中で混じることもなく、生成できました。やはり饒舌なモデルですが、生成過程を可視化しているという印象になっちゃいます。Qwen32B系の傾向かもしれませんがlangchainでwebページをまとめさせても良い感じです。推論を組み入れるのも、適切なバランスが必要だと思います。このバランスの調整（評… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2024%2F12%2F03%2F224423" title="EZO-QwQ-32B-Preview-GGUFをollamaとColabで試す。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-12-03 22:44:23 rich https://bwgift.hatenadiary.jp/entry/2024/12/03/224423 1.0 100%