bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ AI Colaboratory IT LLM Python お勉強 自然言語処理 バッチで高速なLLM処理を実現しているというvLLMを試して見た。Qwebも触ってみたかったので、colabの無料枠で動くか実験しました。 github.com vLLMは対応していモデルであればすぐに動く。動かしたときにはbugがあり、LLMで生成部分を２度実行するとエラーとなる。github issuesを参照するとfixはもうじき反映されるようだ。ドキュメントもパラメータが一部しか例示されてない。これから整備されていくのが楽しみだ。 github.com 文章は、あまり破綻してなさそうだけれども、正解にはなかなか厳しい結果となった。rinna社のQwenモデルだったら違うのかもしれない。… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2024%2F01%2F07%2F152025" title="vLLMでQweb_7b_chat_AWQを試す - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-01-07 15:20:25 rich https://bwgift.hatenadiary.jp/entry/2024/01/07/152025 1.0 100%