acro-engineer https://blog.hatena.ne.jp/acro-engineer/ Taste of Tech Topics https://acro-engineer.hatenablog.com/ LLM 生成AI 皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。大規模言語モデル（通称：LLM）は近年、非常に注目される技術となりました。 ただ、7Bや13Bといった巨大モデルのパラメータは推論時間も長時間で計算時間の面からも運用が非常に難しいです。 しかし、vLLMを使えば、高速化できます。本記事では、推論をどこまで高速化できるのかを検討したいと思います。※本記事はLLM・LLM活用のAdvent Calendar 24日目の記事です… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Facro-engineer.hatenablog.com%2Fentry%2F2024%2F12%2F24%2F120000" title="vLLMを利用したLLM推論高速化テクニック - Taste of Tech Topics" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/acro-engineer/20241222/20241222220323.png Hatena Blog https://hatena.blog 2024-12-24 12:00:00 rich https://acro-engineer.hatenablog.com/entry/2024/12/24/120000 1.0 100%