thr3a https://blog.hatena.ne.jp/thr3a/ 動かざることバグの如し https://blog.turai.work/ llm 環境 litellm v1.80 やりたいこと 現在、LiteLLMをLLMプロキシサーバーとして利用し、ロールプレイアプリを実装している。 ロールプレイという性質上、チャットのターン数は急増しやすく、50ターンに達することも珍しくない。しかし、生成に必要な文脈は直近の会話だけで十分なケースが大半である。50ターン分すべてを送信してしまうと、コストが増大するだけでなく、不要な情報によりコンテキストがブレる原因にもなってしまう。 LiteLLM Proxy側で会話数を制限したい場合、本来であればクライアント実装側で過去ログを間引くのが定石である。しかし、今回は諸事情により「アプリ都合でそれができ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.turai.work%2Fentry%2F20260120%2F1768920947" title="LiteLLM Proxyで会話数（messages）を制限する方法 - 動かざることバグの如し" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-01-20 23:55:47 rich https://blog.turai.work/entry/20260120/1768920947 1.0 100%