tohmae https://blog.hatena.ne.jp/tohmae/ techtekt（テックテクト） | パーソルキャリアのDevelopers Blog https://techtekt.persol-career.co.jp/ 技術・知見 デジタルテクノロジー統括部 データアナリスト データサイエンティスト pickup こんにちは。シニアデータアナリストの大前です。 大規模モデルの解析の新展開として二重降下とよばれる現象と理論について記事を書こうと思います。 二重降下の再現 大規模モデルの解析の新展開として二重降下とよばれる現象と理論があります。 この理論はデータ量が十分多いとき、 一定以上に過剰に増やされたパラメータは、逆に過学習を防ぐということを言っています。 論文 Two models of double descent for weak features (https://arxiv.org/abs/1903.07571) にその例が載っていますので、実際に再現してみました。 https://gith… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechtekt.persol-career.co.jp%2Fentry%2Ftech%2F240123_01" title="二重降下の例 - techtekt（テックテクト） | パーソルキャリアのDevelopers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/t/tohmae/20231101/20231101115819.jpg Hatena Blog https://hatena.blog 2024-01-23 09:30:00 rich https://techtekt.persol-career.co.jp/entry/tech/240123_01 1.0 100%