deimos_falcon https://blog.hatena.ne.jp/deimos_falcon/ Falconの思うままに https://deimos-falcon.hatenablog.com/ さて、ローカルLLMとしてBonsaiをProxmoxに入れてみました。 Bonsai-1.7Bにしてみましたが、結果....失敗です(汗) ものすごく遅いです。Helloだけで１分以上応答なしです。 モデルのロードも時間がかかります。 ということで実用に耐えない結果なんです。 う〜ん駄目かなあ。GPUがないのでCPUのAVXとかいう命令を使うように ollama.cppをコンパイルしてみたのですが、効果なし。 AI的にはVMの設定が悪いようなんですが、改善しません。 量子化1bitというモデルですが、動かん。 これだとOCIのPodmanで立てているGemmaのほうが全然いい。 VMにしてし… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdeimos-falcon.hatenablog.com%2Fentry%2F2026%2F04%2F11%2F082923" title="ProxmoxでBonsai - Falconの思うままに" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-04-11 08:29:23 rich https://deimos-falcon.hatenablog.com/entry/2026/04/11/082923 1.0 100%