takahashii https://blog.hatena.ne.jp/takahashii/ Vポイントマーケティング｜TECH LABの Tech Blog https://techblog.vpoint.co.jp/ インフラストラクチャ NVIDIA torch.compile こんにちは。テックラボの高橋です。 pytorchにtorch.compileという機能があることをご存知でしょうか？ torch 2.0から導入されたこの機能を利用することで、推論処理や学習処理を高速化できるとのことです。 今回はNVIDIA A100を用いて、torch.compileがどのくらい効果があるか検証してみました。 環境 pytorch 2.6 GPU NVIDIA A100 80G ubuntu 20.04.6 nvidia-docker 24.0.9-1 モデル tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3 torch.c… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.vpoint.co.jp%2Fentry%2F2025%2F03%2F06%2F093525" title="NVIDIA A100でのtorch.compileの効果を検証 - Vポイントマーケティング｜TECH LABの Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/D/DBMK_Lab/20250310/20250310111716.png Hatena Blog https://hatena.blog 2025-03-06 09:35:25 rich https://techblog.vpoint.co.jp/entry/2025/03/06/093525 1.0 100%