olj611 https://blog.hatena.ne.jp/olj611/ 機械学習基礎理論独習 https://olj611.hatenablog.com/ 最適化 はじめに 以下の最急降下法において、を固定するのではなく、ざっくり求めようというのが本記事の趣旨です。 直線探索法 関数 の最小化アルゴリズムにおいて、点 を 方向に更新することを考えます。 このとき、1変数関数 を扱うことになります。 を満たすとします。( の場合を考えればイメージしやすいと思います。)目標は よりも十分小さな関数値 を求めることです。 そのための計算法を直線探索法といいます。直線探索において、関数値が十分に減少したかを判定するための条件がいくつかあるので、紹介します。 アルミホ条件 として、を満たすを選択します。 下図にイメージを記します。 ウルフ条件 アルミホ条件ではが非… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Folj611.hatenablog.com%2Fentry%2F2021%2F06%2F14%2F000000" title="直線探索法 - 機械学習基礎理論独習" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/o/olj611/20210611/20210611090803.png Hatena Blog https://hatena.blog 2021-06-14 00:00:00 rich https://olj611.hatenablog.com/entry/2021/06/14/000000 1.0 100%