inarizuuuushi https://blog.hatena.ne.jp/inarizuuuushi/ Sabrou-mal サブロウ丸 https://inarizuuuushi.hatenablog.com/ 分散深層学習 論文サーベイ 深層学習 最適化 Wang, Weiyang, et al. "Topoopt: Co-optimizing network topology and parallelization strategy for distributed training jobs." arXiv preprint arXiv:2202.00433 (2022). [paper] 概要 どんなもの? Metaにおける分散DNNトレーニングジョブの解析 それをもとにした、分散DNNに適したネットワークトポロジと並列戦略の最適化 先行研究と比べてどこがすごい? 既存研究ではネットワークトポロジを固定して、分散DNNの並列戦略のみを考えて… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finarizuuuushi.hatenablog.com%2Fentry%2F2023%2F05%2F15%2F090000" title="サーベイ: Topoopt: Co-optimizing network topology and parallelization strategy for distributed training jobs (2022) - Sabrou-mal サブロウ丸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/i/inarizuuuushi/20230407/20230407160256.png Hatena Blog https://hatena.blog 2023-05-15 09:00:00 rich https://inarizuuuushi.hatenablog.com/entry/2023/05/15/090000 1.0 100%