nikkie-ftnext https://blog.hatena.ne.jp/nikkie-ftnext/ nikkie-ftnextの日記 https://nikkie-ftnext.hatenablog.com/ 魔法少女マルカバツカ 答えは☓(バツ) 最大トークン数（max tokens）は40961ですが、プロンプトを工夫すれば30000字を超える長さであっても回答を得られます！ なお、この知見は「へぇ」レベルで、LLMを使っていく上では役に立たないと思います（ここで引き返してもええんやで）。 目次 答えは☓(バツ) 目次 先行研究：区切り線は2の冪乗で1トークン 2の12乗（4096文字）の区切り線でもいけるってこと？ 動作環境 4096文字の区切り線を含んだプロンプトを送る 2の12乗（4096）文字の区切り線をtiktokenで見てみる 2の冪乗の文字数の区切り線は64文字で1トークンと効率よくトークン化されるので… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnikkie-ftnext.hatenablog.com%2Fentry%2Fchatgpt-delimiter-length-power-of-2-is-1-token" title="Q: ChatGPT(gpt-3.5-turbo)の最大トークン数は4096です。なので、プロンプトの長さが30000文字を超えるときに回答を得ることはできない。◯か☓か - nikkie-ftnextの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-05-23 23:23:28 rich https://nikkie-ftnext.hatenablog.com/entry/chatgpt-delimiter-length-power-of-2-is-1-token 1.0 100%