acro-engineer https://blog.hatena.ne.jp/acro-engineer/ Taste of Tech Topics https://acro-engineer.hatenablog.com/ 機械学習 NeuralNetwork メリークリスマス。 @tereka114です。本記事はDeep Learning論文紹介 Advent Calendar 2019の25日です。 qiita.com私はKaggleの画像コンペに頻繁に参加しています。 そのときに、毎度選定にこまるのがニューラルネットワークの最適化手法（Optimizer）です。 学習率やWeight Decayなどハイパーパラメータが多く、選択パタンが無数にあると感じています。そのため、Kaggleでよく利用される（されうる）最適化手法を振り返ります。 もちろん、実務でも十分使えるので、皆さんの学習に活かしてくれると幸いです。 最適化手法 SGD（Moment… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Facro-engineer.hatenablog.com%2Fentry%2F2019%2F12%2F25%2F130000" title="実務で使えるニューラルネットワークの最適化手法 - Taste of Tech Topics" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/acro-engineer/20191224/20191224011352.png Hatena Blog https://hatena.blog 2019-12-25 13:00:00 rich https://acro-engineer.hatenablog.com/entry/2019/12/25/130000 1.0 100%