miu4930 https://blog.hatena.ne.jp/miu4930/ Vポイントマーケティング｜TECH LABの Tech Blog https://techblog.vpoint.co.jp/ AI GPU こんにちは、CCCMKホールディングス TECH LABの三浦です。 9月になりました。夏から秋に変わる時期で気候もコロコロ変わるので、体調管理をちゃんとしないと・・・と思います。 さて、LLMに限らずDeep LearningモデルをGPUを使って学習していると、「なんでこんなにGPUメモリを消費しているんだろう・・・？」と不思議に思うことがあります。特にモデルそのもののファイルサイズ上は十分にGPUメモリに読み込めるはずなのに、学習を始めるとGPUメモリの容量オーバー時に発生する"Out-Of-Memory"エラーが出てしまったりします。この理由について、最近調べていた分散学習に関する論文… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.vpoint.co.jp%2Fentry%2F2024%2F09%2F03%2F143858" title="Deep Learningモデルの学習で&quot;Out-Of-Memory&quot;が出てしまう理由をDeepSpeedの論文を読んで調べてみました。 - Vポイントマーケティング｜TECH LABの Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/miu4930/20240903/20240903131723.jpg Hatena Blog https://hatena.blog 2024-09-03 14:38:58 rich https://techblog.vpoint.co.jp/entry/2024/09/03/143858 1.0 100%