nowokay https://blog.hatena.ne.jp/nowokay/ きしだのHatena https://nowokay.hatenablog.com/ 最近の大きいモデルはたくさんのExpertを用意してトークンごとに必要なExpertを使って推論するMoE(Mixture of Experts)が主流です。 そうなると、どんな感じでExpertが選ばれてるのか気になりますね。 ということで、Qwen3とLFM2.5のMoEモデルでExpertを可視化してみました。ブラウザで動きます。 https://kishida.github.io/QwenQwen3.js/html/router-viz.html 対応モデル 対応モデルはQwen3とLFM2.5です。で、たぶんQwen3-235B-A22Bも動かせるのだけど、メモリ的に無理。 というこ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnowokay.hatenablog.com%2Fentry%2F2026%2F07%2F21%2F113735" title="Qwen3-30B-A3BなどのMoEでどのExpertが使われているかを確認する - きしだのHatena" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nowokay/20260722/20260722015916.png Hatena Blog https://hatena.blog 2026-07-21 11:37:35 rich https://nowokay.hatenablog.com/entry/2026/07/21/113735 1.0 100%