nishiohirokazu https://blog.hatena.ne.jp/nishiohirokazu/ 西尾泰和のはてなダイアリー https://nishiohirokazu.hatenadiary.org/ 残念なお知らせですが、この連載は続きません。そもそも僕の興味はword2vecによる意味の理解と、言語モデルによる文章の生成だったわけです。後者の論文はRNNLMを使っていて、それは前者の論文の著者がword2vecの前にやっていたことです。というわけでRNNLMについて調べ始め、その最適化が他のニューラルネットでよく使われているような確率的勾配法では難しいということでヘシアンフリー最適化について調べていたわけです。前回説明したように、たしかにニューラルネットで重みがほとんど同一であるニューロンがあった場合に、そのニューロンを分化させる方向の勾配が小さくて1次の勾配法では学習がはかどらないとい… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnishiohirokazu.hatenadiary.org%2Fentry%2F20140210%2F1392026316" title="Deep Learning論文紹介「Deep learning via Hessian-free optimization」その3 - 西尾泰和のはてなダイアリー" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2014-02-10 18:58:36 rich https://nishiohirokazu.hatenadiary.org/entry/20140210/1392026316 1.0 100%