Hal40n https://blog.hatena.ne.jp/Hal40n/ ゼロからAI理論を再構築する https://serenewealth.net/ 機械学習 前回、勾配降下法で損失を減らしていくという話を書きました。ただ、あの説明は「全データの勾配をまとめて計算する」前提になっていて、データが数百万件ある現実のタスクだとそのまま使うのは厳しいです。1回パラメータを更新するだけで全データを走査するので、とにかく遅い。 今回は、この計算コストの問題をどう回避するかという話です。 バッチ勾配降下法の問題 理論通りの勾配降下法（バッチ勾配降下法）では、全データ \( n \) 個に対する損失の平均勾配を計算します。 \[ \nabla \hat{R}(w) = \frac{1}{n} \sum_{i=1}^{n} \nabla L(f(x_i), y_i)… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fserenewealth.net%2Fentry%2F2026%2F03%2F03%2F194936" title="ミニバッチ学習とSGD：全部見なくても学習できる理由 - ゼロからAI理論を再構築する" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-03-03 19:49:36 rich https://serenewealth.net/entry/2026/03/03/194936 1.0 100%