inarizuuuushi https://blog.hatena.ne.jp/inarizuuuushi/ Sabrou-mal サブロウ丸 https://inarizuuuushi.hatenablog.com/ 本記事は数理最適化 Advent Calendar 2023の18日目の記事です。分散深層学習に使われる最適化について紹介します。 分散深層学習は、複数の計算ユニット（GPU、CPUなど）を活用して深層学習モデルを訓練する手法のことで、特にLLMのような巨大モデルの訓練には必要不可欠です。しかし、分散実行では計算量やメモリ使用量を分散させることの利点がある一方で、計算ユニット間の通信コストの増加や使用率の低下というトレードオフが存在します。したがって、単に計算資源を増やすだけではなく、深層学習モデルと計算環境に合わせた並列計算戦略の選定や計算ユニット間の通信方法のチューニングが重要です。これら… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finarizuuuushi.hatenablog.com%2Fentry%2F2023%2F12%2F18%2F215618" title="分散深層学習に現れる最適化 - Sabrou-mal サブロウ丸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh7SonT3pAhEy6vjtVZDdzK3XyIoV7Vcc9ishcZ6iBaDgLFVbN_dnB4iCM2myhTVzt0fWyW8ztSurfCOxrrGm8jg7HofRiCtVf2DHPAVqOlr3TEsqtWuZv6FTKu_2pj-iacShOr1PB3NqzeIfLSmpPn96YT-M7SFGbr7cKxdTYQr0f8Sr3PbykJ3cH4EQ/s1999/image1.png Hatena Blog https://hatena.blog 2023-12-18 21:56:18 rich https://inarizuuuushi.hatenablog.com/entry/2023/12/18/215618 1.0 100%