ueponx https://blog.hatena.ne.jp/ueponx/ uepon日々の備忘録 https://uepon.hatenadiary.com/ AI LLM コンピュータ ローカルLLM環境をいろいろ触っていると、必ずぶつかるのがVRAMの壁なんですよね。12Bクラスのモデルをbf16のまま動かそうとすると、重みだけで約24GBのメモリが必要になり、手元のGPUでは厳しい…という場面が多いのではないでしょうか。自分のデスクトップPCはRTX 4070 Ti(VRAM 12GB)なのですが、bf16の12BはそもそもVRAMに載りません😅 そこで気になっていたのが、Google DeepMindが公開しているGemma 4 12Bの軽量版「QAT(Quantization-Aware Training：量子化適応トレーニング)」です。今回は、この軽量版がどういうも… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fuepon.hatenadiary.com%2Fentry%2F2026%2F06%2F13%2F132340" title="待っていたゾ🤗「ちょうどいい」ローカルLLM Gemma 4 12B QATを整理してみる - uepon日々の備忘録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/u/ueponx/20260613/20260613111829.png Hatena Blog https://hatena.blog 2026-06-13 13:23:40 rich https://uepon.hatenadiary.com/entry/2026/06/13/132340 1.0 100%