ayousanz https://blog.hatena.ne.jp/ayousanz/ yousanのメモ https://ayousanz.hatenadiary.jp/ AI はじめに 環境 準備 推論 翻訳 まどマギ はじめに ayousanz.hatenadiary.jp もうGGUFが出ていたので動かしていきます huggingface.co 環境 Google Colob (T4) 準備 llama.cppのダウンロードをします !git clone https://github.com/ggerganov/llama.cpp.git %cd llama.cpp !make -j 次にモデルをダウンロードします。今回は、比較的精度とサイズのバランスがいい rinna-nekomata-14b-instruction-q4_K_M にします !wget htt… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fayousanz.hatenadiary.jp%2Fentry%2F2023%2F12%2F22%2F024555" title="mmnga/rinna-nekomata-14b-instruction-ggufをGoogleColobで動かす - yousanのメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-12-22 02:45:55 rich https://ayousanz.hatenadiary.jp/entry/2023/12/22/024555 1.0 100%