shiba-yan https://blog.hatena.ne.jp/shiba-yan/ しばやん雑記 https://blog.shibayan.jp/ .NET ONNX Runtime 以前に ONNX Runtime Generative AI に対応した Phi-3 mini / medium のモデルを利用して、ローカルマシンの DirectML アクセラレーションが効く形で動かしてみました。本命と考えている NPU に最適化された Phi-Silica はまだ利用可能になっていないので、今のところは Phi-3 を DirectML で使うのが現実的な方法です。その時には公開されていなかった Phi-3 Vision の ONNX モデルがつい最近 Hugging Face で公開されたようなので、今回はマルチモーダルに対応した形で ONNX Runtime Gene… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.shibayan.jp%2Fentry%2F2024%2F07%2F14%2F172145" title="C# と ONNX Runtime Generative AI (DirectML) を利用して Phi-3 Vision をローカルで動かす - しばやん雑記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/shiba-yan/20240714/20240714141350.png Hatena Blog https://hatena.blog 2024-07-14 17:21:45 rich https://blog.shibayan.jp/entry/2024/07/14/172145 1.0 100%