ishitonton https://blog.hatena.ne.jp/ishitonton/ For Your ISHIO Blog https://ishitonton.hatenablog.com/ Spark lasso回帰 正則化 python 特徴量選択 はじめに Lasso回帰は、正則化された線形回帰手法の1つで、線形回帰にL1正則化項を追加したモデルです。正則化により過学習を防ぐとともに、不要と判断される説明変数の偏回帰係数がゼロになる性質があります。この性質を利用して、目的変数により影響が高い説明変数のみを選択する特徴量選択を自動で行う手法でもあります。 特徴量選択の方法は、より精度が高いものから、より複雑なものまで様々な方法が用意されています。ビジネス現場では、数百万の中から迅速に変数選択を行う必要がある場合に、Lasso回帰のようなシンプルな方法論が利用されるケースがあります。 この記事では、Sparkを利用してLasso回帰を行い特… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fishitonton.hatenablog.com%2Fentry%2F2020%2F10%2F10%2F163509" title="SparkでLasso回帰のハイパーパラメータλをグリッドサーチして特徴量選択する - For Your ISHIO Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/i/ishitonton/20201010/20201010160531.png Hatena Blog https://hatena.blog 2020-10-10 16:35:09 rich https://ishitonton.hatenablog.com/entry/2020/10/10/163509 1.0 100%