aidiary https://blog.hatena.ne.jp/aidiary/ 人工知能に関する断創録 https://aidiary.hatenablog.com/ Deep Learning 機械学習 Theano Theanoによる雑音除去自己符号化器の実装（2015/12/9）の続き。今回は自己符号化器を積み上げて積層自己符号化器を実装した。 多層パーセプトロンは隠れ層の数を増やす（Deepにしていく）とより複雑なモデルを表現できるようになるが、誤差が伝播されずに重みが更新されなくなる勾配消失問題（Vanishing gradient problem）が生じる。この問題を解決するため多層パーセプトロンの重みの初期値をランダムに設定するのではなくより良い重みを設定しておく事前学習（pre-training）というテクニックが提案されている。 このより良い重みを自己符号化器（2015/12/3）を順に積み… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Faidiary.hatenablog.com%2Fentry%2F20160122%2F1453470767" title="Theanoによる積層自己符号化器の実装 - 人工知能に関する断創録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://cdn-ak.f.st-hatena.com/images/fotolife/a/aidiary/20160120/20160120194922.png Hatena Blog https://hatena.blog 2016-01-22 22:52:47 rich https://aidiary.hatenablog.com/entry/20160122/1453470767 1.0 100%