potaxyz https://blog.hatena.ne.jp/potaxyz/ ポタージュを垂れ流す。 https://potaxyz.hatenablog.jp/ 深層学習理論 最近，甘利さんの統計神経力学の本を研究室内で輪読していたが，自然勾配法の記事に引き続き，自分が二重降下の章を担当することになった．せっかく資料を作ったので一部をブログに載せておく． ちなみに，以前にもグラフにするだけしてみていたりはする．深層学習まわりの理論の話では個人的にはこのトピックが最も好き． potaxyz.hatenablog.jp 導入 統計的学習理論と情報量基準 二重降下現象 線形回帰モデルでの二重降下 勾配降下法の陰的バイアス 非漸近的な導出 補足 補足1 補足2 漸近的導出 （典型）汎化誤差の変形 ランダム行列理論からの道具 Marchenko-Pastur law Stie… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fpotaxyz.hatenablog.jp%2Fentry%2F2024%2F08%2F27%2F000000" title="二重降下現象 - ポタージュを垂れ流す。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/p/potaxyz/20240826/20240826215253.png Hatena Blog https://hatena.blog 2024-08-27 00:00:00 rich https://potaxyz.hatenablog.jp/entry/2024/08/27/000000 1.0 100%