espio999 https://blog.hatena.ne.jp/espio999/ Technically Impossible https://impsbl.hatenablog.jp/ AI IT 2023年のllama.cpp*1登場によって、GPU処理からCPU処理へのオフロードが可能となって以来、ローカル環境で生成AIを動作させることが現実的になった。本来、多くのVRAMが要求されるモデルでも、RAM=8GBの環境で動作させることも、難しいことではなくなった。さらにLM StudioとSML (Small Language Model)の登場により、その敷居は更に低下している。パラメータ数、1.0〜1.2B程度のモデルであれば、モデルのファイル・サイズは1GB前後だ。RAM=8GBでも、on-memoryでの動作には、全く支障がない。この程度の環境でも、7.52tok/sec程度の… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fimpsbl.hatenablog.jp%2Fentry%2FLMStudio" title="GPU無し、RAM=8GBのLM Studio導入 - モデルのダウンロード、サーバ起動からエディタ連携まで - Technically Impossible" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/e/espio999/20250829/20250829225509.png Hatena Blog https://hatena.blog 2025-09-01 00:00:00 rich https://impsbl.hatenablog.jp/entry/LMStudio 1.0 100%