syou6162 https://blog.hatena.ne.jp/syou6162/ yasuhisa's blog https://www.yasuhisay.info/ 機械学習 論文100本ノック ベイズ統計 ICML2011にSparse Additive Generative Models of Textという論文が出ていて、あちこちで筋がよさそうな感じじゃね?と紹介されている(こことかこことか)。Motivation肝となるアイデアはsparsenessで、LDAのような生成モデルだと単語毎にどの多項分布を選んでくるか決めるため、トピック毎に多項分布が生成され、どこのトピックでも"the"とか"of"のような単語は確率が高いというのを学習してきてしまって無駄が多い(論文中ではoverparametrizationと書いてある)。もちろん、Dirichlet分布のパラメータをいじってあげることで… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.yasuhisay.info%2Fentry%2F20110711%2F1310355680" title="#22 Adaptive Sparseness for Supervised Learning - yasuhisa&#39;s blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2011-07-11 12:41:20 rich https://www.yasuhisay.info/entry/20110711/1310355680 1.0 100%