seishin55 https://blog.hatena.ne.jp/seishin55/ ほろ酔い開発日誌 https://blog.seishin55.com/ Deep Learning Machine Learning paper Deep Learningにおいてパラメータを決めるのは面倒くさいです。バッチサイズと学習率もその内の2つです。何かモデルを実装するときは既存研究の論文のバッチサイズと学習率と同じものを使うのが楽ですが、データが変わるだけでも調整が必要になったり、モデル構造を変更して調整が必要になったりと自分で考えないといけない場面が避けれるわけではなく、ある程度の指針が必要です。バッチサイズと学習率は関係性が強いようなので、両者についてまとめておきます。 バッチサイズと学習率 バッチサイズの学習に与える影響 以下のICLR2017の論文によると、バッチサイズを大きくすると汎化性能が落ちたということが述べられ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.seishin55.com%2Fentry%2F2019%2F05%2F09%2F181419" title="Deep Learningにおけるバッチサイズと学習率をどう決めるか - ほろ酔い開発日誌" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/seishin55/20190509/20190509181242.jpg Hatena Blog https://hatena.blog 2019-05-09 18:14:19 rich https://blog.seishin55.com/entry/2019/05/09/181419 1.0 100%