RC30-popo https://blog.hatena.ne.jp/RC30-popo/ ローリングコンバットピッチなう！ https://rc30-popo.hatenablog.com/ AI 1.概要 1bitや1.58bit量子化の登場で80億パラメータクラスのLLMが標準的なスペックのPCやスマートフォン上のローカルLLMとして使えそうな雰囲気が出てきました。家の型落ちPC(第7世代 Core i7 + GeForce GTX1050 、RAM16GB + VRAM 2GB)で動かして見ました。OSはUbuntu22.04で、Dockerコンテナを使います。 使用したモデルはPrismMLが発表したBonsai 8Bの1bit量子化モデルと1.58bit量子化モデルです。 prismml.com Bonsaiのモデルはhuggingfaceに公開されているのですが、動作させるに… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Frc30-popo.hatenablog.com%2Fentry%2F2026%2F05%2F03%2F231648" title="Bonsai 8BモデルをUbuntu 22.04で動かす - ローリングコンバットピッチなう！" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/R/RC30-popo/20260503/20260503230930.png Hatena Blog https://hatena.blog 2026-05-03 23:16:48 rich https://rc30-popo.hatenablog.com/entry/2026/05/03/231648 1.0 100%