hobbymath https://blog.hatena.ne.jp/hobbymath/ 趣味の研究 https://hobbymath.hatenadiary.jp/ 機械学習の分野でよく用いられるクロスエントロピーや、カルバック・ライブラー情報量に関する関係を導き出したので、要約を書いておきます。 今回見つけたことは、ざっくり言うと、 4つの確率分布が、「平行四辺形」の各頂点にあるとき、確率分布間の「距離」に対し、平行四辺形の法則(中線定理)が成り立つ というものです。「」をつけて書いたのは、通常の意味の平行四辺形や、距離とは異なるからです。 なるべく式を使わずに内容を書いていきます。 詳細は6/21の記事(清書版)、6/22の記事をご覧ください。 確率分布 を考えます。ここで、のiはベキ乗の意味ではなく、変数の添え字です。上についていることには意味があり… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhobbymath.hatenadiary.jp%2Fentry%2F2018%2F06%2F24%2F214135" title="カルバック・ライブラー情報量と平行四辺形 - 趣味の研究" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://chart.apis.google.com/chart?cht=tx&chl=%5Cbegin%7Balign%7Dp%28x%29%3D%5Cexp%28%5Csum_i%20%5Ctheta%5EiF_i%28x%29-%5Cpsi%28%5Ctheta%29%20%29%5Ctag%7B1%7D%5Cend%7Balign%7D Hatena Blog https://hatena.blog 2018-06-24 21:41:35 rich https://hobbymath.hatenadiary.jp/entry/2018/06/24/214135 1.0 100%