heart_mugi https://blog.hatena.ne.jp/heart_mugi/ はとむぎ研究室 https://heart-mugi.hatenablog.com/ はじめに Sigmoid関数 メリット デメリット ReLU関数 メリット デメリット 考察 参考文献 はじめに 某大学院の院試の過去問に、「DNNにおいて中間層を増やすとSigmoid関数よりReLU関数の方が優れている理由を述べよ」といった問題があったので、調べてみた。 Sigmoid関数 Sigmoid関数は次のような式で表される。 Sigmoid関数 メリット Sigmoid関数は入力に対して連続なので微分ができる。この微分ができるという点は、誤差逆伝播法による学習を伴うニューラルネットワークにとって重要である。 導関数は以下の通りで、簡単に計算ができる。 デメリット 入力が極限に大き… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fheart-mugi.hatenablog.com%2Fentry%2F2021%2F02%2F09%2F072503" title="NNにおけるSigmoid関数とReLU関数の比較 - はとむぎ研究室" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/heart_mugi/20210209/20210209065543.jpg Hatena Blog https://hatena.blog 2021-02-09 07:25:03 rich https://heart-mugi.hatenablog.com/entry/2021/02/09/072503 1.0 100%