kamotti92 https://blog.hatena.ne.jp/kamotti92/ Joy to the world https://joy2world.hateblo.jp/ AI ここ数日で色々と構築してきた結果をメモっておく。会社で同じ環境を再現する必要があるので。 LM Studio LM Studioについては特筆する設定項目はなし。 とりあえず入れているモデルは下記の通り。 ランタイムについては色々と調べてみたけど、Vulkan使っておけばとりあえずいいのではという結論に至った。なぜかCUDAを使うと遅くなったりする場合もあるのでよく分からない。 Speculative Decodingを使えば、7Bくらいのモデルならなんとか動くかなと。多分、CPUが強ければもう少し効果が出てくるのかもしれない。 10トークン/secくらい出たら、ローカルLLMとしては上出来と… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fjoy2world.hateblo.jp%2Fentry%2F2025%2F08%2F17%2F214204" title="ローカルLLM環境メモ - Joy to the world" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/k/kamotti92/20250817/20250817210819.png Hatena Blog https://hatena.blog 2025-08-17 21:42:04 rich https://joy2world.hateblo.jp/entry/2025/08/17/214204 1.0 100%