iwiwi https://blog.hatena.ne.jp/iwiwi/ iwiwi 備忘録 https://iwiwi.hatenadiary.jp/ LLM arxiv.org host memoryやNVMeを使ったout-of-coreの実装を真面目にクソ頑張ることで、より大きなtransformerを高い実行効率を維持しながら学習できるようにする話。 手法 基本的には各種データ（param, optimizer stats, activationなど）のアクセスパターンを考える。次に、それに応じて要求される読み込みbandwidthを計算する。実行効率を維持したいので、「計算とoverlapさせられるかどうか」で要求bandwidthが決まる。あとは、それに応じてデータの配置をする。 これを気合を入れて実装する。 感想 何かびっくりするような… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fiwiwi.hatenadiary.jp%2Fentry%2F2023%2F03%2F25%2F000000" title="ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning - iwiwi 備忘録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-03-25 00:00:00 rich https://iwiwi.hatenadiary.jp/entry/2023/03/25/000000 1.0 100%