ayousanz https://blog.hatena.ne.jp/ayousanz/ yousanのメモ https://ayousanz.hatenadiary.jp/ AI はじめに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギプロンプト 使用リソース はじめに 年末にして新しいモデルが出たので、触っていきます 商用利用可能な日本語LLM「Karasu」「Qarasu」を公開しました。MTベンチで日本語公開モデルで最高性能になっています。GPT-3.5に迫る精度です。リンク先からデモ触れるのでぜひ。https://t.co/srdTh2ysp3 @PRTIMES_JP— 園田亜斗夢 株式会社Lightblue代表 (@tegetegeyashi) 2023年12月29日 今回はvLLMで動かすサンプルコードがあったのでこちらで動かしていきます 環… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fayousanz.hatenadiary.jp%2Fentry%2F2023%2F12%2F29%2F204224" title="vLLMでlightblue/qarasu-14B-chat-plus-unleashedをGoogleColobで動かす - yousanのメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/ayousanz/20231229/20231229203001.png Hatena Blog https://hatena.blog 2023-12-29 20:42:24 rich https://ayousanz.hatenadiary.jp/entry/2023/12/29/204224 1.0 100%