bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 帰ってきたので、お試ししたかったqwen3:30b-a3b-instruct-2507-q4_K_Mを試してみます。モデルはollama公式に上がっているものを利用します。ColabのL4環境でためします。VRAM占有率は 18595MiB / 23034MiBでした。 期待通りの性能でq4_K_Mでもいい感じです。若干、中国語の漢字交じりになりますが、日本語のチューニングモデルが出てくると改善するのだろうと思います。推論モデルではないのも影響して回答速度も得られています。ぼちぼち、VRAM24GBなGPUがもっと安くなってほしいですよね。 ollama.com まどか☆マギカで一番かわいいの… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F07%2F31%2F232751" title="qwen3:30b-a3b-instruct-2507-q4_K_MをColabとollamaでためしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-07-31 23:27:51 rich https://bwgift.hatenadiary.jp/entry/2025/07/31/232751 1.0 100%