aidiary https://blog.hatena.ne.jp/aidiary/ 人工知能に関する断創録 https://aidiary.hatenablog.com/ 機械学習 PRML 今回もCourseraの機械学習ネタ。Courseraの講義ではロジスティック回帰やニューラルネットのパラメータ学習に共役勾配法（conjugate gradient method: CG法）やBFGSアルゴリズム（Broyden–Fletcher–Goldfarb–Shanno algorithm）*1 を使っていました。よく使われる勾配降下法（gradient descent method）より強力な最適化アルゴリズムとのこと。勾配降下法に比べてよい点として 学習率を手動で設定する必要がない 高速 という2点が挙げられていました。自分で試してみるとよくわかるけど、学習率の決定は地味に面倒く… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Faidiary.hatenablog.com%2Fentry%2F20140414%2F1397481258" title="共役勾配法によるコスト関数最適化 - 人工知能に関する断創録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://hatenablog.com/images/theme/og-image-1500.gif Hatena Blog https://hatena.blog 2014-04-14 22:14:18 rich https://aidiary.hatenablog.com/entry/20140414/1397481258 1.0 100%