NTTCom https://blog.hatena.ne.jp/NTTCom/ NTT docomo Business Engineers' Blog https://engineers.ntt.com/ テクノロジー AI こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務1で大規模言語モデル（LLM: Large Language Model）について調査を行なっており、特にLLMの推論や学習の高速化に関心を持っています。 今回は、小さな言語モデルによる先読みを活用してLLMの文章生成を高速化する手法（Assisted Generation2, Speculative Sampling3などと呼ばれています）についてご紹介します。 LLMの推論は計算コストが高く、文章生成の遅… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fengineers.ntt.com%2Fentry%2F2023%2F11%2F14%2F081349" title="先読みを用いたLLMの文章生成の高速化 - NTT docomo Business Engineers&#39; Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/N/NTTCom/20231107/20231107155437.png Hatena Blog https://hatena.blog 2023-11-14 08:13:49 rich https://engineers.ntt.com/entry/2023/11/14/081349 1.0 100%