sutokun https://blog.hatena.ne.jp/sutokun/ 社畜エンジニア発掘戦線 https://shachicode.hatenablog.com/ おつかれさまです。活性化関数や損失関数の微分についてメモしておきます。 〜活性化関数〜 ニューラルネットワークにおいて、線形変換をした後に適用する非線形関数もしくは恒等関数のこと。よく使っている「シグモイド関数」が活性化関数ですね。 〜損失関数〜 ニューラルネットワークにおいて、出力(y)と正解(t)がどれだけ離れているのかを表す「損失量」を与える関数。「二乗和誤差関数」、「クロスエントロピー」がこの損失関数にあたります。今回は活性化関数に「シグモイド関数」、「ソフトマックス関数」、損失関数に「クロスエントロピー」を用いたときの微分の計算についてまとめてみたいと思います。 まず、簡単なニューラ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fshachicode.hatenablog.com%2Fentry%2F2019%2F02%2F18%2F180823" title="活性化関数とクロスエントロピーの微分 - 社畜エンジニア発掘戦線" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sutokun/20190207/20190207094629.jpg Hatena Blog https://hatena.blog 2019-02-18 18:08:23 rich https://shachicode.hatenablog.com/entry/2019/02/18/180823 1.0 100%