hobbymath https://blog.hatena.ne.jp/hobbymath/ 趣味の研究 https://hobbymath.hatenadiary.jp/ 確率密度関数 P(x), Q(x)に関し、クロスエントロピー を考えます。 1) 定理 と置くと、 が可積分となるsに対し、 s>0ならば s≦0ならば . が成り立つ。即ち <0 <なるに対し、 eq(1) さらに、で、 . 特に、P(x)=Q(x)のときは、 <0 <に対し、 が成り立つ。 証明 であり、 イェンセンの不等式を用いると、 両辺の対数を取り-sで除算することにより、不等式を得る。sの符号により、不等式が反転することに注意。 は、s=0で0になるので、 は、の極限で のsに関する微分に等しくなります。 この式をsに関して微分し、s=0と置くと、 に等しくなるので、示せました。 … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhobbymath.hatenadiary.jp%2Fentry%2F2018%2F02%2F25%2F173922" title="クロスエントロピーに関する不等式, ガンマ・ベータ関数・二項係数に関する不等式 - 趣味の研究" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://chart.apis.google.com/chart?cht=tx&chl=-%5Cint%20P%28x%29%5Clog%28Q%28x%29%20%29%3DE_P%5B-%5Clog%28Q%28x%29%20%29%5D Hatena Blog https://hatena.blog 2018-02-25 17:39:22 rich https://hobbymath.hatenadiary.jp/entry/2018/02/25/173922 1.0 100%