thr3a https://blog.hatena.ne.jp/thr3a/ 動かざることバグの如し https://blog.turai.work/ llm この記事はLLM・LLM活用 Advent Calendar 2025の16日目の記事です。 qiita.com 環境 Ubuntu 24.04 カーネル: 6.17.0-1008-oem llama.cpp build: 6ce863c80 (7508) はじめに RTX4090では乗らないようなLLMモデルを動かしたかったので、先日Minisforum MS-S1 MAXを購入した。メモリ爆上がり前のギリギリで購入できてよかった。 blog.turai.work kyuz0氏が作成してくれたDockerfileを使ってllama.cpp用イメージをビルド、運用している。 github.co… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.turai.work%2Fentry%2F20251223%2F1766420917" title="llama.cppはDocker使わない方が高速という都市伝説 - 動かざることバグの如し" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-12-23 01:28:37 rich https://blog.turai.work/entry/20251223/1766420917 1.0 100%