derwind https://blog.hatena.ne.jp/derwind/ らんだむな記憶 https://randommemory.hatenablog.com/ machine_learning 「情報理論」を読みつつ、エントロピーの意味を掘り下げたい 定義 確率 $p$ の情報が実際に生起したことを知らせる情報に含まれている情報量を$$ \begin{align*} - \log_2 p \end{align*} $$と定義する。とある。つまり、エントロピーとは、事象 $A_1, \cdots, A_n$ があった時に、「この事象が生起しましたよ」と教えてもらう時の得られる情報量の期待値である。式で書くと$$ \begin{align*} H(p_1,\cdots,p_n) = - \sum_{j=1}^n p_j \log_2 p_j \end{align*} $$であった。 天気… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Frandommemory.hatenablog.com%2Fentry%2F2022%2F03%2F25%2F234745" title="決定木 (4) - らんだむな記憶" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-03-25 23:47:45 rich https://randommemory.hatenablog.com/entry/2022/03/25/234745 1.0 100%