Itsukara https://blog.hatena.ne.jp/Itsukara/ Itsukaraの日記 https://itsukara.hateblo.jp/ 久しぶりにAI関連の記事を読みたいと思い、Google Reseachの2020の纏め記事を見て初めて知ったのですが、Googleは機械翻訳の実験として600 Billion個のパラメータを持ったモデル(1パラメータが4Byteとすると2.4TB)を2048台のTPU v3で学習させるという超大規模な実験をやってますね。2048代のTPU v3を4日間使ったので、一般の人が使った場合の利用料金を計算すると、2048[TPU]/32[TPU/v3-32-pod]*32[$/hours]*24[hours/day]*4[day]=$196,608=約2000万円です。一回の試行でこれだけのお金が掛… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fitsukara.hateblo.jp%2Fentry%2F2021%2F01%2F22%2F183836" title="Google Researchの実験は大規模過ぎて他で追随不能 - Itsukaraの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-01-22 18:38:36 rich https://itsukara.hateblo.jp/entry/2021/01/22/183836 1.0 100%