echizen_tm https://blog.hatena.ne.jp/echizen_tm/ EchizenBlog-Zwei https://echizen-tm.hatenadiary.org/ 計算機科学 情報理論でエントロピーといえば確率変数が持つ情報量の期待値のこと。例えば P(x1) = 1/2, P(x2) = 1/4, P(x3) = 1/4という分布があったらエントロピーは 1/2 * lg2 + 1/4 * lg4 + 1/4 * lg4 = 1/2 * 1 + 1/4 * 2 + 1/4 * 2 = 3/2 = 1.5なので平均1.5ビットでこの分布から生成されたデータを表現できる。 では確率変数の列を表現するには平均何ビット必要だろうか。言い換えると確率変数の列にデータを追加するには平均何ビット必要だろうか。これはエントロピーレートという概念で説明できる。 実はエントロピーレー… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fechizen-tm.hatenadiary.org%2Fentry%2F20130420%2F1366464501" title="エントロピーレート(確率過程におけるエントロピーの増加の割合) - EchizenBlog-Zwei" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2013-04-20 22:28:21 rich https://echizen-tm.hatenadiary.org/entry/20130420/1366464501 1.0 100%