reifrontier-blog https://blog.hatena.ne.jp/reifrontier-blog/ Rei Frontier Tech Blog https://tech-blog.rei-frontier.jp/ はじめに テスト環境と条件 検証用プロンプト EC2インスタンスタイプの説明 補足 パフォーマンス計測方法 APIリクエスト APIパラメータ補足 パフォーマンス計測結果 結論 おまけ お知らせ はじめに こんにちは、CTOの大柿です。 ローカルLLMとして高額なGPUがなくとも動作するLLMや量子化したLLMが数多く公開されてきており、実際どれが使えるのか、どの程度のコストが必要なのかという疑問がわきます。今回ローカルLLMをAWS EC2で実行するための最低限なインスタンスタイプを比較・検証してみます。ローカルLLMの利用は、コスト削減やデータプライバシーの観点から非常に魅力的です。しかし… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-blog.rei-frontier.jp%2Fentry%2F2024%2F07%2F09%2F110000" title="量子化モデルの実力検証！AWS EC2でのローカルLLMパフォーマンスチェック - Rei Frontier Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/r/reifrontier-blog/20240708/20240708163713.png Hatena Blog https://hatena.blog 2024-07-09 11:00:00 rich https://tech-blog.rei-frontier.jp/entry/2024/07/09/110000 1.0 100%