bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ Colaboratory LLM Python お勉強 自然言語処理 Metaが発表したLLaMa2。LLaMaの性能も高かったし、発表後の評判も高い。とは言え、貧弱なPCでは70Bは動かすのは厳しい。そこで、Google Colabで量子化モデルを浮かしてみる。無料プランの範囲で動作可能だ。 huggingface.co llama_cppをGPUで動かそうとしたけれども、うまく行かなかったのでCPUのみで動作。さすがに重い。でも、お試し程度なので、良しとする。GPU対応にするのはどうしたらいいのか・・・。 github.com プロンプトを幾つか弄りながら、賢い片鱗を感じる。プロンプトの指示もよく従ってくれる。これチューニングが進むと軽くて使いやすくなるので… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2023%2F07%2F23%2F235346" title="LLaMa2をllma2_13b_chat_ggmlv3で試してみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-07-23 23:53:46 rich https://bwgift.hatenadiary.jp/entry/2023/07/23/235346 1.0 100%