inarizuuuushi https://blog.hatena.ne.jp/inarizuuuushi/ Sabrou-mal サブロウ丸 https://inarizuuuushi.hatenablog.com/ 分散深層学習 Wang, Guanhua, et al. "Blink: Fast and generic collectives for distributed ml." Proceedings of Machine Learning and Systems 2 (2020): 172-186. Microsoft + インターン？ [paper] 概要 どんなもの？ 与えられたトポロジに適した集団通信アルゴリズムを求める 全域木パッキング問題を解くことで、帯域を有効活用するbroadcastの通信スケジュールを生成 broadcastの通信スケジュールからその他の集団通信も生成 求めた通信スケジュールを… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finarizuuuushi.hatenablog.com%2Fentry%2F2023%2F06%2F12%2F090000" title="サーベイ: Blink: Fast and Generic Collectives for Distributed ML (2020) - Sabrou-mal サブロウ丸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/i/inarizuuuushi/20230425/20230425172212.png Hatena Blog https://hatena.blog 2023-06-12 09:00:00 rich https://inarizuuuushi.hatenablog.com/entry/2023/06/12/090000 1.0 100%