mnozawa
https://blog.hatena.ne.jp/mnozawa/
Ridge-institute R&D Blog
https://iblog.ridge-i.com/
gradient compression
distributed deep learning
こんにちは．株式会社Ridge-iでインターンを務めていますmitsuhiko-nozawaです．本記事では，Gradient Compressionと呼ばれる，分散学習環境下で勾配の通信量を削減する手法について紹介します． なお本記事は@machinery81と@zawatsky_rによってレビューされています． TL;DR Gradient Compressionとは Gradient Compressionの概要 Gradient Compressionの分類 Gradient Sparcification Gradient Quantization Gradient Sparcific…
190
<iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fiblog.ridge-i.com%2Fentry%2F2021%2F06%2F30%2F110000" title="分散学習における同期通信コスト削減のための勾配圧縮 - Ridge-institute R&D Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe>
https://img.esa.io/uploads/production/attachments/9763/2021/06/21/97131/26b52a53-069d-4e73-843b-27846688d90a.png
Hatena Blog
https://hatena.blog
2021-06-30 11:00:00
分散学習における同期通信コスト削減のための勾配圧縮
rich
https://iblog.ridge-i.com/entry/2021/06/30/110000
1.0
100%