inarizuuuushi https://blog.hatena.ne.jp/inarizuuuushi/ Sabrou-mal サブロウ丸 https://inarizuuuushi.hatenablog.com/ 自然言語処理などのタスクにおいて深層学習モデルは必須の道具になっています。 近年はTransformerをベースにして同じアーキテクチャパターンを繰り返してモデルを巨大化させることや、学習データを増やすことで精度の向上を目指すのが主流の方向性の一つです。 そこで問題となるのが、一つの計算機では学習に必要なメモリが足りなくなる、計算コストが大きすぎて現実的な時間では学習が終わらない、という点です。 モデルやデータの巨大化の要請のスピードと比べるとハードウェア（GPU、CPU、各種メモリ）の性能向上は緩やかに進んでいます。 そこで深層学習モデルの訓練を複数の計算機で行うことで、これらの課題を解決し… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finarizuuuushi.hatenablog.com%2Fentry%2F2022%2F05%2F23%2F090000" title="分散深層学習(Distributed Deep Learning; Distributed DL)まとめ - Sabrou-mal サブロウ丸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-05-23 09:00:00 rich https://inarizuuuushi.hatenablog.com/entry/2022/05/23/090000 1.0 100%