sinchir0 https://blog.hatena.ne.jp/sinchir0/ Sansan Tech Blog https://buildersbox.corp-sansan.com/ AI 機械学習 Python はじめに Sansan 研究開発部の齋藤慎一朗です。 次のブログでは、本格的なLVLMの検証の前に、運用に必要な環境をどう見積もるかについて、メモリの観点で紹介しました。 buildersbox.corp-sansan.com 今回は、Fine-Tuningを行ったLVLMをローカル運用する際のレイテンシをどこまで改善できるかを検証したため、その手法と結果について共有します。 オフラインバッチ推論の前提での検証となります。 前提 利用するモデル Full Fine-TuningされたQwen/Qwen2.5-VL-7B-Instruct[^1] 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbuildersbox.corp-sansan.com%2Fentry%2F2025%2F07%2F03%2F120000" title="LVLMをローカル運用する際に、精度を保ちつつレイテンシをどこまで改善できるか(vLLM, Flash Attention, 量子化) - Sansan Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sansantech/20260224/20260224184821.png Hatena Blog https://hatena.blog 2025-07-03 12:00:00 rich https://buildersbox.corp-sansan.com/entry/2025/07/03/120000 1.0 100%