n_shuyo https://blog.hatena.ne.jp/n_shuyo/ 木曜不足 https://shuyo.hatenablog.com/ PRML 機械学習 変分ベイズ 「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくてもいいよ』とか書いてあるけど全然縮退しないよ。ベイズ職人でないとうまくいかないらしいよ」 「初期値について『対称性から、通常 m_0=0 とおく』と書いてあるけど、ほんとに m_0=0 にしたら、全パラメータが k に対して同じ値になっちゃうよ」 と言いふらしていたら、スクリプトのバグだった。 ので、罪滅ぼしにまじめ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fshuyo.hatenablog.com%2Fentry%2F20100423%2Fvariational" title="PRML 10章の変分ベイズによる混合ガウス分布推論の検証（フォロー編) - 木曜不足" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/n_shuyo/20100423/20100423192051.png Hatena Blog https://hatena.blog 2010-04-23 00:00:00 rich https://shuyo.hatenablog.com/entry/20100423/variational 1.0 100%