sakata_harumi https://blog.hatena.ne.jp/sakata_harumi/ JKになりたい https://wanttobejk.com/ 機械学習 MLPシリーズ「深層学習」の5.6ディープネットの事前学習と5.7その他の自己符号化器のまとめです。 ディープネットの事前学習 多層の順伝播型ネットワークには勾配消失という現象が起こるため、学習が難しい。 これを解決するのが事前学習。 一般にネットワークの重みはランダムで初期化される。 この重みの初期値をもっと良いものにしておけば、勾配消失が起きないのでは？というアイデア。 実際、経験則的に事前学習がうまくいくことが知られている。 勾配消失問題 勾配消失問題は何故起きるのか。 ニューラルネットワークの計算には順伝搬と逆転伝搬がある。 順伝搬は活性化関数を通すので出力は非線形になる。 非線形であ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwanttobejk.com%2Fentry%2F2016%2F10%2F21%2F20161021135715%2F" title="ディープネットの事前学習・その他の自己符号化器 - JKになりたい" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/deeptoneworks/20161021/20161021133302.png Hatena Blog https://hatena.blog 2016-10-21 13:57:15 rich https://wanttobejk.com/entry/2016/10/21/20161021135715/ 1.0 100%