takahashii https://blog.hatena.ne.jp/takahashii/ Vポイントマーケティング｜TECH LABの Tech Blog https://techblog.vpoint.co.jp/ AI Databricks はじめに こんにちは。テックラボの高橋です。 本記事ではDatabricks上でLlama3.1のマルチGPU推論ができるかどうか試していきます。 8Bのモデルだと16G 1枚で実行できてしまうので、あえて70Bのモデルに挑戦してみます。 ※モデル毎の速度比較については下記リンク先をご参照ください。 techblog.cccmkhd.co.jp 環境 Databricks runtime 15.3 ML GPU T4 16G x 4 llama.cppのインストール 今回はモデルの量子化を活用した推論高速化ツールであるllama.cppを用います。 Databricksにllama.cppをイ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.vpoint.co.jp%2Fentry%2F2024%2F08%2F02%2F083413" title="DatabricksでLlama3.1 70BのマルチGPU推論を行う - Vポイントマーケティング｜TECH LABの Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/D/DBMK_Lab/20240806/20240806112034.png Hatena Blog https://hatena.blog 2024-08-02 08:34:13 rich https://techblog.vpoint.co.jp/entry/2024/08/02/083413 1.0 100%