ayousanz https://blog.hatena.ne.jp/ayousanz/ yousanのメモ https://ayousanz.hatenadiary.jp/ AI 環境 準備 実行 まどマギテスト 富士山の高さは？ What American movies do you recommend that make you cry? 環境 Linux(ubuntu22.04) L4 GPU 準備 TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUFのtinyllama-1.1b-chat-v1.0.Q4_K_M.ggufを ダウンロードします llama.cppのディレクトリのルート直下に入れます 実行 まどマギテスト 推論 ./main -ngl 35 -m tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fayousanz.hatenadiary.jp%2Fentry%2F2024%2F01%2F04%2F092307" title="TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUFをllama.cppで動かす - yousanのメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-01-04 09:23:07 rich https://ayousanz.hatenadiary.jp/entry/2024/01/04/092307 1.0 100%