cookie-box https://blog.hatena.ne.jp/cookie-box/ クッキーの日記 https://cookie-box.hatenablog.com/ 雑記 参考文献 ニューラルネットワークと深層学習（Web上の教材） http://www.bioinf.jku.at/publications/older/2604.pdf（LSTM の原論文） シチュエーション（まずL+1層パーセプトロンの場合） 層目を入力層、 層目を出力層として、 層が連なっているとする。 を、 層目の 番目のニューロンから 層目の 番目のニューロンへの接続の重みとし、 を 層目の 番目のニューロンのバイアスとする（ ）。 を 番目の 番目のニューロンの活性化前の値、 を 番目の 番目のニューロンの活性化後の値とする。つまり、活性化関数を とすると、以下の関係が成り立つ。 と … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcookie-box.hatenablog.com%2Fentry%2F2019%2F01%2F14%2F235900" title="雑記： RNN の勾配が消失したり爆発したりする話のメモ - クッキーの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.blog.st-hatena.com/images/theme/og-image-1500.png Hatena Blog https://hatena.blog 2019-01-14 23:59:00 rich https://cookie-box.hatenablog.com/entry/2019/01/14/235900 1.0 100%