ke_takahashi https://blog.hatena.ne.jp/ke_takahashi/ memorandums https://memorandums.hatenablog.com/ Macにはグラフソフトが標準添付されています。以下のグラフをGrapherくんに描いてもらいました。以下、情報理論の教科書より。 情報源のシンボルが0と1の2元符号のエントロピーをグラフ化します。0と1の生起確率をそれぞれpとq=(1-p)とすると、情報源のエントロピーHは なので、Grapherの数式入力欄にいれます。ちょっと困るのが上記の式中のをそのまま入力できないところです。常用対数と自然対数しかないようです（恐らく）。で、昔懐かしい底の変換公式を使います。数式は以下のようになります。グラフは以下のようになりました。美しい。。。確率が0.5のときに最もエントロピーが大きくなる。。。欲しい… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmemorandums.hatenablog.com%2Fentry%2F2014%2F02%2F25%2F125016" title="Grapherの練習 - memorandums" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://chart.apis.google.com/chart?cht=tx&chl=H%3D%5Chat%7BH%7D%28p%29%3D-%5Cleft%5C%7Bplogp%2B%281-p%29log%281-p%29%5Cright%5C%7D Hatena Blog https://hatena.blog 2014-02-25 12:50:16 rich https://memorandums.hatenablog.com/entry/2014/02/25/125016 1.0 100%