sinchir0 https://blog.hatena.ne.jp/sinchir0/ Sansan Tech Blog https://buildersbox.corp-sansan.com/ Python 機械学習 AI はじめに Sansan 技術本部 研究開発部の齋藤 慎一朗です。 最近、VLLM（Vision Large Language Model）やLLM（Large Language Model）をプロダクト応用できるかの検証、そのリリース関連の仕事をすることが増えています。 VLLMやLLMをローカル運用（ベンダーが提供するAPIを利用するのではなく、商用利用可能なモデルを自社の環境で運用すること）することを想定する場合、多くの不確実性が存在します。例えば、以下のような点が不確実となります。 モデルが、プロダクトの価値につながるほど高い精度を出せるのか？ 運用環境はどの程度の費用が必要なのか？ 運… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbuildersbox.corp-sansan.com%2Fentry%2F2025%2F06%2F04%2F093000" title="Flash Attention 2 + 量子化でVLLMはどこまで軽くなる？ローカル運用に向けた画像枚数とメモリ使用量の検証 - Sansan Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-06-04 09:30:00 rich https://buildersbox.corp-sansan.com/entry/2025/06/04/093000 1.0 100%