isseing333 https://blog.hatena.ne.jp/isseing333/ 『企業成長の方程式 ― AIDグロースコミットによる成長戦略』 https://iisssseeiiii.hatenablog.com/ 昨日と今日のブログの流れで、LASSOの幾何学的な解釈を考えました。「LASSOは残差にペナルティ項を足したもの（目的関数）」を最小にする方法でした。 この目的関数は、幾何学的には次のように表現できると思います。ベクトル(y-βx)の方向にペナルティの分だけ伸ばした青いベクトルの長さが、目的関数だと考えます。ペナルティはβの定数倍なので目的関数のベクトルは、βを動かすとzのような軌跡を描くはずです。そしてyからzへの射影がLASSOの推定値なのではないでしょうか。ちなみにリッジ回帰はβの二乗がペナルティなので、zも二次関数状になると思います。 また灰色の矢印のようにλが大きいとzはxから遠ざか… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fiisssseeiiii.hatenablog.com%2Fentry%2F20110310%2F1299754078" title="LASSOの幾何学的解釈とLARSとの関係 - 『企業成長の方程式 ― AIDグロースコミットによる成長戦略』" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/i/isseing333/20110310/20110310194636.png Hatena Blog https://hatena.blog 2011-03-10 19:47:58 rich https://iisssseeiiii.hatenablog.com/entry/20110310/1299754078 1.0 100%