StatModeling https://blog.hatena.ne.jp/StatModeling/ StatModeling Memorandum https://statmodeling.hatenablog.com/ 理論 StanでADVIが使えるようになったので、変分ベイズの基礎は抑えておきたいなぁと思って最近学んでいました。自分向けのメモとして残します。 対数周辺尤度・変分下限・KL情報量 目的は事後分布の最もよい近似となるを求めることです。にはあとで因子分解可能という条件を入れます。 イエンセンの不等式を使って、対数周辺尤度を下から評価すると、 を変分下限と呼びます。任意の関数の関数です。対数周辺尤度はevidenceとも呼ばれるため、変分下限はevidence lower bound、略してELBOとも呼ばれます。対数周辺尤度と変分下限の差は、 となります。これはと事後分布のKL情報量（Kullback… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fstatmodeling.hatenablog.com%2Fentry%2Fvariational-bayesian-inference-1" title="変分法をごまかさずに変分ベイズの説明をする - StatModeling Memorandum" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://blog.st-hatena.com/images/theme/og-image-1500.png Hatena Blog https://hatena.blog 2016-01-23 00:00:00 rich https://statmodeling.hatenablog.com/entry/variational-bayesian-inference-1 1.0 100%