dora119 https://blog.hatena.ne.jp/dora119/ ややプログラム紀行 https://dora119.hateblo.jp/ 機械学習 今の所卒論ではover-parameterization周りの事をできたらいいな〜と思ってて(理論系書ける気がしないけど)、ちまちまその話題の論文を読んでるのでブログに自分用メモを書いておく*1 over-parameterizationというのはニューラルネットワークにおいてニューロンの数をめちゃくちゃデカくする事を指し、over-parameterized networkは色々興味深い現象が起こって不思議なのでそれを研究しようって分野がここ数年熱くなってきてる*2 まとめ [1810.02054] Gradient Descent Provably Optimizes Over-param… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdora119.hateblo.jp%2Fentry%2F2019%2F10%2F13%2F031613" title="グラム行列とover-parameterization - ややプログラム紀行" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://chart.apis.google.com/chart?cht=tx&chl=%20f%28%5Cmathbf%7BW%7D%2C%20%5Cmathbf%7Ba%7D%2C%20%5Cmathbf%7Bx%7D%29%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt%7Bm%7D%7D%20%5Csum_%7Br%3D1%7D%5Em%20a_r%20%5Csigma%28%5Cmathbf%7Bw%7D_r%5E%5Cmathrm%7BT%7D%20%5Cmathbf%7Bx%7D%29 Hatena Blog https://hatena.blog 2019-10-13 03:16:13 rich https://dora119.hateblo.jp/entry/2019/10/13/031613 1.0 100%