fmtk23 https://blog.hatena.ne.jp/fmtk23/ ABEJA Tech Blog https://tech-blog.abeja.asia/ LLM ABEJAでデータサイエンティストをしている岩城です。 NVIDIA H200 GPUはハイパフォーマンスコンピューティング (HPC) ワークロード向けに設計されたもので、LLMの推論を高速に行うことができます。 現在では様々なクラウドコンピューティングサービスがH200を提供しています。 今回は、NVIDIA H200を搭載したGPUサーバでどれくらいの規模のLLMの事前学習を行うことができるのか検証しました。 概要 環境 実験 結果 学習可能性 実行時間 GPUメモリ使用状況 最後に 謝辞 We are hiring! 概要 NVIDIA H200 × 8が1ノードというGPU環境でどれ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-blog.abeja.asia%2Fentry%2Fpretraining-on-h200-202508" title="NVIDIA H200 × 8でどれくらいの規模の事前学習を実施できるか - ABEJA Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/f/fmtk23/20250819/20250819143447.png Hatena Blog https://hatena.blog 2025-08-20 10:00:00 rich https://tech-blog.abeja.asia/entry/pretraining-on-h200-202508 1.0 100%