ueponx https://blog.hatena.ne.jp/ueponx/ uepon日々の備忘録 https://uepon.hatenadiary.com/ AI Google コンピュータ Gemma 4 の動作の実験をきっかけにMoEとPLEの違いを整理してみたノートです。自己理解を深めるために「何が違うのか」をつかむためのメモとして読んでもらえるといいかもしれません。私の理解も間違っているかもしれないですし🙄 最近、更新のあったGemma 4の資料を読んでいるなかで、理解が引っかかってしまったポイントの一つが MoE(Mixture of Experts) と PLE(Per-Layer Embeddings) という2つの単語でした。どちらも「総パラメータは大きいけど、実際に使う量は小さい」を実現する技術と説明されていて、ぱっと読みだと違いがほとんど分からないんですよね。 … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fuepon.hatenadiary.com%2Fentry%2F2026%2F05%2F06%2F191726" title="MoEは計算を削り、PLEは表現力を補う　…　Gemma 4で整理する2つの「節約法」 - uepon日々の備忘録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-05-06 19:17:26 rich https://uepon.hatenadiary.com/entry/2026/05/06/191726 1.0 100%