Kazuhira https://blog.hatena.ne.jp/Kazuhira/ CLOVER🍀 https://kazuhira-r.hatenablog.com/ Llama LLM これは、なにをしたくて書いたもの？ 以前のエントリーで、SalesforceのCodeGenのモデルを使ってソースコードの生成を行ってみました。 Transformersでコード生成を行ってみる - CLOVER🍀 この時は、llama-cpp-pythonのドキュメントで紹介されていたReplit Code V1.5 3Bのオリジナルを使おうとしてメモリ不足になったのですが、 GGUF形式に変換されたモデルをllama-cpp-python（llama.cpp）で実行する分には動くのでは？と思ったので試してみました。 結論としては、動きました。 Replit Code V1.5 3B lla… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkazuhira-r.hatenablog.com%2Fentry%2F2024%2F01%2F14%2F230552" title="llama-cpp-pythonでReplit Code V1.5 3Bを使ってコード生成を試す - CLOVER🍀" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/K/Kazuhira/20240114/20240114213209.png Hatena Blog https://hatena.blog 2024-01-14 23:05:52 rich https://kazuhira-r.hatenablog.com/entry/2024/01/14/230552 1.0 100%