keisukefukuda https://blog.hatena.ne.jp/keisukefukuda/ 本当は怖いHPC & AI https://freak-da.hatenablog.com/ UCX Infiniband とりあえず、UCXで実用（？）コードを書いてみようということで、Allreduceを書いてみようと思っています。Allreduceは、ディープラーニングにおいては重要な通信パターンで、業務においても研究したことがあるので経験があります（これについては、近々会社のブログの方で発表できると思います）。 Allreduceを実装するにはいくつかのポイントがあることがわかっていますので、これを先に調査しておきます。 send/recv通信として, bcopy と zcopy のどちらを使うか いわゆる普通のsend/recvを実現する手段としては、bcopyとzcopyがあります。bcopyとzcop… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ffreak-da.hatenablog.com%2Fentry%2F2018%2F08%2F25%2F144235" title="UCXを試す日記(9)：allreduceを実装する上での予備調査 - 本当は怖いHPC &amp; AI" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2018-08-25 14:42:35 rich https://freak-da.hatenablog.com/entry/2018/08/25/144235 1.0 100%