techaskencontributor https://blog.hatena.ne.jp/techaskencontributor/ asken テックブログ https://tech.asken.inc/ AI Advent Calendar AWS LLM Amazon SageMaker と vLLM を組み合わせて、高速な LLM 推論基盤を構築する方法を解説します。AWS の LMI（Large Model Inference）コンテナを活用し、AsyncLLMEngine による非同期処理、Continuous Batching によるスループット向上、コールドスタート対策まで、本番運用に必要な設定を網羅。serving.properties と model.py の書き方から、SageMaker Endpoint のデプロイまで、ステップバイステップで説明します。 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.asken.inc%2Fentry%2F20251223" title="SageMakerでvLLMを動かそう - asken テックブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-12-22 17:00:00 rich https://tech.asken.inc/entry/20251223 1.0 100%