bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-ggufを試してみます。GGUFは、mmngaさんが作成されたものを利用しました。楽しみです。ColabのL4環境です。VRAM占有率は 6357MiB / 23034MiBでした。 結果；日本語は自然です。知識量は8B相応だな、という印象です。それは仕方ないところです。要約もいい感じです。計算能力も意外といいのかなとおもいましたが、謎な検算をしていました。 小さな日本語モデルは、langchain用のファインチューニングセットとか、ライブラリとセットになると面白くなりそうな気がしてきました。 h… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2024%2F12%2F24%2F213100" title="tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-ggufをollamaとColabでためしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-12-24 21:31:00 rich https://bwgift.hatenadiary.jp/entry/2024/12/24/213100 1.0 100%