XxGodmoonxX https://blog.hatena.ne.jp/XxGodmoonxX/ 青いやつの進捗日記。 https://tech.motoki-watanabe.net/ OpenAI tiktoken GPT-4.1 GPT-4o Azure OpenAI Service Tiktokenについて OpenAIのAPIにリクエストする時に、トークン制限の最大を突破していないかとか調べるために使うtiktokenというライブラリがある。 github.com tiktokenのいろんな言語向けの派生があるようだが、基本的には モデル名を指定してエンコーディングを取得 そのエンコーディングでプロンプトの長さを取得 のような流れになる。 github.com Tiktoke系ライブラリのGPT-4.1対応 が、2025/4にリリースされたGPT-4.1系がまだサポートされていないことが多そうだった。 OpenAIが出しているtiktokenではIssueとPull R… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.motoki-watanabe.net%2Fentry%2F2025%2F07%2F23%2F125647" title="OpenAIのAPIにリクエストする時にトークン数計算に使えるtiktoken系ライブラリ、GPT-4.1系のサポートがあまりされてない印象。だがGPT-4o系をそのまま指定すればよさそう - 青いやつの進捗日記。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-07-23 12:56:47 rich https://tech.motoki-watanabe.net/entry/2025/07/23/125647 1.0 100%