Dajiro https://blog.hatena.ne.jp/Dajiro/ ころがる狸 https://dajiro.com/ 機械学習 こんにちは。私は業務で３年ほど深層学習を扱っておりますが、まだまだ学ぶことが多いと感じています。深層学習ではGANのような魅力的な飛び道具も多くありますが、今日は学習率とバッチサイズという深層学習の基本的かつ重要なノウハウついて書いてみたいと思います。 そもそも学習率・バッチサイズとは バッチサイズと学習率の決め方 そもそも学習率・バッチサイズとは 深層学習では、ニューラルネットワークによる出力と教師データの差分値を含む損失関数を定義し、この重みパラメータによる微分を最小化する方向に学習を行います。これによりネットワークの出力と教師データが一致する方向に学習が進み、ネットワークが入力データの特… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdajiro.com%2Fentry%2F2020%2F04%2F15%2F221414" title="【ミニバッチ学習と学習率】低バッチサイズから始めよ - ころがる狸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2020-04-15 22:14:14 rich https://dajiro.com/entry/2020/04/15/221414 1.0 100%