sinchir0 https://blog.hatena.ne.jp/sinchir0/ Sansan Tech Blog https://buildersbox.corp-sansan.com/ Sansan株式会社 技術本部 研究開発部の齋藤慎一朗です。 この記事は、Sansan Advent Calendar 2025 22日目の記事です。 結論 最初に、この記事の概要を図1にまとめます。 図1 本記事の概要 はじめに 最近、ファインチューニングしたLLMを使ってプロダクトを改善するお仕事をしています。ファインチューニングしたLLMを運用するフェーズでは、クラウド環境にGPUを用意し、LLMが推論できる環境を用意しています。環境について、基本的に次の２点が求められます。 LLMが提供する価値に対して運用費が高すぎないこと 高速に推論できること 1を満たすために、多くの場合はH200… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbuildersbox.corp-sansan.com%2Fentry%2F2025%2F12%2F22%2F100000" title="「量子化済みLLM+LoRA」 vs 「量子化なしLLM+LoRA」、RPSとlatencyはどう変わるか？ - Sansan Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sansantech/20260224/20260224194015.png Hatena Blog https://hatena.blog 2025-12-22 10:00:00 rich https://buildersbox.corp-sansan.com/entry/2025/12/22/100000 1.0 100%