pseudo-theory-of-everything https://blog.hatena.ne.jp/pseudo-theory-of-everything/ Pseudo Theory of Everything https://pseudo-theory-of-everything.hatenablog.com/ 正則化 機械学習 数学 スパースモデリング 1 はじめに 最近、我々+数名でスパースモデリングという分野を勉強しています。詳細はまた別の記事にて紹介するにして、今回はスパースモデリングの前段階に当たる リッジ回帰(ridge regresion) に脚光を当てます1。 読者には釈迦に説法かもしれませんが、リッジ回帰は L2 正則化とも呼ばれ機械学習の中でも非常にスタンダードな概念の一つになっています。しかし専門的に正則化法を扱ってみて、案外知らなかったことを知れたのでまとめました。 まず、リッジ回帰での損失関数は以下のような式で記述されます。 \begin{align} E = (y - X \vec{w})^2 + \alpha \v… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fpseudo-theory-of-everything.hatenablog.com%2Fentry%2F2019%2F10%2F07%2F070000" title="わしの思うリッジ回帰(L2正則化)と正則化法。 - Pseudo Theory of Everything" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/p/pseudo-theory-of-everything/20191006/20191006162934.png Hatena Blog https://hatena.blog 2019-10-07 07:00:00 rich https://pseudo-theory-of-everything.hatenablog.com/entry/2019/10/07/070000 1.0 100%