bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Python Colaboratory 自然言語処理 Swallowの新しいモデルが公開されましたので、早速試してみます。mmngaさんがGUFFに変換したモデルを利用します。ColabのL4環境を利用します。VRAM占有率は19773MiB / 23034MiBでした。 日本語は、さすがに自然です。比較的簡潔な文章を生成していました。基本的な性能はGemma-2の性能も手伝って問題なさそうです。が、長めのテキストを参照用として入れ込んだ場合には、それをうまく活かした回答ができませんでした。量子モデルで十分な検証ではありませんが、気になった点です。 公式サイトでも述べられていましたが、27Bクラスだと、Gemma 3 27B ITの性能は高いです… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F05%2F19%2F233031" title="mmnga/Gemma-2-Llama-Swallow-27b-it-v0.1-ggufをColabとollamaで試す。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-05-19 23:30:31 rich https://bwgift.hatenadiary.jp/entry/2025/05/19/233031 1.0 100%