bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 phi-4はトークナイザ不具合があったようです。その訂正版をgguf化されたものが公開されました。楽しみに試してみます。ColabのL4環境でVRAM占有率は 10987MiB / 23034MiBでした。 日本語の生成は自然です。要約は問題なく、計算もこのサイズのモデルとしての性能をきっちり達成しているようです。ただ、phi4のモデルは指示をどこに入れているかによって効きの強弱が強いようです。文末に指示は書く方が効きやすいように思います。このあたりMicrosoftは意識しているのでしょうか。また、Langchainで使うことを想定して、デフォルトのプロンプトで処理させると日本語の文章でも出… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F17%2F230803" title="grapevine-AI/phi-4-ggufをollamaとColabとでためしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-17 23:08:03 rich https://bwgift.hatenadiary.jp/entry/2025/02/17/230803 1.0 100%