shiba-yan https://blog.hatena.ne.jp/shiba-yan/ しばやん雑記 https://blog.shibayan.jp/ C# ONNX Runtime Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。セッションでも話がありましたが、Microsoft としては DirectML を使っておけば GPU / NPU の両方に対応できるようにするようなので、今後はローカルでの AI 利用は DirectML が主導権を握る可能性がありそうです。現状 Hugging Face で公開され… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.shibayan.jp%2Fentry%2F20240604%2F1717465930" title="C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす - しばやん雑記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/shiba-yan/20240603/20240603020511.png Hatena Blog https://hatena.blog 2024-06-04 10:52:10 rich https://blog.shibayan.jp/entry/20240604/1717465930 1.0 100%