thr3a https://blog.hatena.ne.jp/thr3a/ 動かざることバグの如し https://blog.turai.work/ llm LLM触っていてContext lengthとMax tokenの違いが一瞬わからなくなったのでメモ Context length (コンテキスト長) モデルが一度に処理できるトークンの最大数。 モデルの「記憶」や「注意の範囲」を表す。 入力と出力の合計トークン数の上限を決定。 モデルごとに固定（例: GPT-3.5は4096トークン、GPT-4は8192トークン）。 Max token APIリクエストで生成される出力の最大トークン数を指定するパラメータ。 ユーザーが設定可能。 常にcontext length - 入力トークン数よりも小さい値である必要がある。 出力の長さを制御するために使… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.turai.work%2Fentry%2F20240807%2F1722957078" title="LLMのContext lengthとMax tokenの違い - 動かざることバグの如し" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-08-07 00:11:18 rich https://blog.turai.work/entry/20240807/1722957078 1.0 100%