MikuHatsune https://blog.hatena.ne.jp/MikuHatsune/ 驚異のアニヲタ社会復帰の予備 https://mikuhatsune.hatenadiary.com/ R 機械学習 統計 数学 情報量を と置くと、 単調に減少する ふたつの分布が独立ならば、加算的に扱える というので、 と書いておく。 符号化してその平均長を考えると はエントロピーである。 さてここで、 はわからないけど、理論的にこれならば、上のエントロピーが成り立つ。しかし、何度も言うが はわからないので、ひとまず を考える。これの平均長は だが、 （実際にデータとして得ている は、実態はわからないけれども からサンプリングされている）と書けるので、結局 である。 このふたつの、（真の分布 のときの平均長）-（真の分布がわからないけれどもとりあえず とおいた平均長）を計算すると となる。 これは常に0 以上で、 と… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmikuhatsune.hatenadiary.com%2Fentry%2F20180525%2F1527232829" title="ものすごいわかりやすかったKullback-Leibler divergence - 驚異のアニヲタ社会復帰の予備" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2018-05-25 16:20:29 rich https://mikuhatsune.hatenadiary.com/entry/20180525/1527232829 1.0 100%