Vengineer https://blog.hatena.ne.jp/Vengineer/ Vengineerの妄想 https://vengineer.hatenablog.com/ はじめに NVIDIA H100に対して、H200の LLM Inference 性能が向上すると、NVIDIAは下記のように言っています。 www.nvidia.com LIama2 13B で、1.4X GPT-3 175B で、1.6X LIma2 70B で、1.9X です。 H100 => H200 になって変わったもの H100からH200になって変わったのは、メモリです。 H100 では、HBM3 80GB, 3TB/s H200 では、HBM3e 141GB, 4.8TB/s メモリ帯域が、1.6倍になっています。HBMへのアクセスがボトルネックであるのなら、1.6倍程度までは… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fvengineer.hatenablog.com%2Fentry%2F2024%2F02%2F12%2F080000_1" title="NVIDIA H100 と H200 の Inference Performanceの違いについて - Vengineerの妄想" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/V/Vengineer/20240211/20240211152252.png Hatena Blog https://hatena.blog 2024-02-12 08:00:00 rich https://vengineer.hatenablog.com/entry/2024/02/12/080000_1 1.0 100%