namaza https://blog.hatena.ne.jp/namaza/ 雑記 https://ytrewq.hatenablog.com/ 機械学習 Courseraの講義なので、ルー語になってしまうことをご了承ください。 概要 Cost functionをminimizeするには、傾きが0になる方向にθを近づけていく。 Cost functionをθで(Partial )derivativeすることで傾きを求めると、どちらの方向に行けば最小の地点があるかわかる。 なお、今回Cost functionは二乗誤差なので常に凹型。 θ - 傾き は傾きが大きすぎて収束しないor収束が遅い可能性があるので、学習率x傾きとする。学習率が小さすぎても収束が遅くなる。 最急降下法の「最急」とは、方向がメインであって、大きさはさほど関係ない J(θ1,θ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fytrewq.hatenablog.com%2Fentry%2F2017%2F07%2F22%2F190329" title="Gradient Descent - 雑記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2017-07-22 19:03:29 rich https://ytrewq.hatenablog.com/entry/2017/07/22/190329 1.0 100%